Sous la paix romaine, du Ier au IIIe siècle, la ville s'étale dans la plaine, au nord de la rivière Escoutay. Au Ve siècle, suite aux incursions vandales répétées, la cité est en ruine. L'évéché est dès lors transféré à Viviers, contribuant à l'effacement de cette ancienne capitale helvienne.
Au XIe siècle, les évêques de Viviers décident la construction d'un donjon, autour duquel la population se regroupe, formant le premier castrum.
Au Moyen-Age, près de 5 seigneuries se succèdent. La révolution vient marquer un stop à cette période : en 1779, les habitants d'Aps refusent de s'acquitter de certaines redevances. Pourtant condamnés à payer, ils s'insurgent, pilllent la bibliothèque, brûlent livres et documents. Le 10 août 1785, 200 personnes envahissent à nouveau le chateau, le saccagent et maltraitent le juge seigneurial ; le procureur fiscal, tentant de leur échapper, meurt en sautant par une fenêtre. En 1793, la famille des Montagut de Beaune, déclarée émigrée, voit l'ensemble de ses biens confisqué et nationalisé. Le chateau, divisé en sept lots est vendu à des familles du village qui l'occupent dès lors et pendant près d'un siècle. La branche des Montagut de Beaune, titrée comte d'Aps, s'eteint quant à elle en 1834
Il faut attendre 1880 pour qu'un enfant du pays, le Dr Gaillard, entreprenne la restauration du chateau. En 1896, l'ancienne tour de Bise (nord), en mauvais état, est démontée. Après la mort du Dr Gaillard (1904), plusieurs propriétaires se succèdent jusqu'en 1974, date à laquelle le docteur Magdeleine Frimat prend en charge les restaurations qui s'imposent : toiture, fenêtres, rez-de-chaussée, premier, deuxième et troisième étages. Elle ouvre alors le chateau au public, organise des expositions tous les étés et accueille spectacles et séminaires. Aujourd'hui, ses enfants perpétuent son œuvre. La restauration est menée avec l'aide des Monuments historiques, le chateau étant inscrit à l'Inventaire supplémentaire depuis 1939.