Au point culminant de Brignoles, les Comtes de Provence avaient établi au XIe siècle comme supplément de fortifications, une tour et un château à murailles épaisses dont la façade sud faisait partie intégrante des remparts et en formait la prolongation. Le Palais comtal fut aménagé en 1264 et en 1297. Lors de son séjour à Brignoles, Charles Il y signa l'édit de la création de la Cour des Comptes. C'est aussi dans la chambre du conseil du Palais qu'est publié l'édit d'installation du parlement de Provence le 28 novembre 1502. Le Roi René fut le dernier Comte de Provence de la famille d’Anjou à venir à Brignoles en 1458 et 1470. En 1512, le conseil s'installe dans le palais qui devient maison commune et école. Puis, en 1580, la Cour des Comptes s'y établit. Une salle d'audience est construite à cet effet au-dessus de la chapelle pour le siège de la cour. En 1791, le tribunal judiciaire et le juge de Paix s'installent au rez-de-chaussée, et les casernes aux premier et second étages. En 1795, les autorités administratives et judiciaires du département sont installées à Brignoles qui devient préfecture jusqu'en 1798. Le tribunal civil siège, lui, au Palais royal jusqu'en 1842, date à laquelle le Palais devient sous-préfecture. Elle ne déménagera qu'en 1920, là où elle se trouve actuellement. En 1945, le palais devient le Musée du Pays Brignolais.