Le premier seigneur connu est Jehan Fougerais né vers 1340. Son fils Gervais licencié en droit est avocat fiscal du Perche en 1396 puis Bailli de Dreux pour le duc d'Orléans en 1402 tandis que Guillaume, Vicomte du Perche  en 1416, participe au siège de Chartres avec Charles VII en 1421.

Un premier site défensif est établi avec un logis ou maison forte dont subsiste quelques traces de fenêtres à meneaux.

Bertrand Ier des Feugerets, bailli des 5 baronnies du Perche Gouet, d'Alluyes et de Nogent le Rotrou, prête serment de fidélité au Roi à l'assemblée de la noblesse du Perche à Chartres en 1469 et fait édifier le donjon avec des murs de près de 2 mètres d'épaisseur et diverses meurtrières toujours visibles.

Les deux pavillons qui flanquent la cour d'honneur sont achevés en 1560. Jehan des Feugerets, gouverneur de Bellême est enregistré dans « le rolle des nobles et noblement tenans au comté du Perche » en date du 15 septembre 1541 comme seigneur du lieu. Il est alors taxé de 4 livres 10 sols tournois. Le château est remanié au xviie siècle avec notamment la création d'une terrasse à balustrades à laquelle on accède par un grand degré à double révolution. Le Grand Dauphin, fils de Louis XIV, s'y rend plusieurs fois. Le seigneur devenu marquis des Feugerets en 1657 obtient l’honneur de lever un régiment éponyme en 1703. Plusieurs chapelles se succèdent sur le site, la dernière est établie dans le donjon avec un vitrail daté de 1855. Les lieux sont encore modifiés à la fin du xixe siècle dans le style troubadour à la demande du marquis de Broc, notamment par le remplacement des petites lucarnes en fenêtres à meneaux à double croisées de style gothique avec tympan sculpté aux armes de la famille des Feugerets. La couverture de l'aile nord est remplacée par une terrasse à balustrades tandis qu'une petite tour néo-gothique est accolée aux courtines au pied de la tour de l'horloge. Le jardin à la française qui s'étendait à l'ouest (connu par le plan terrier de 1660 conservé au château) est remplacé par un parc à l'anglaise et complété d'une orangerie vers 1830. Il passe de la famille des Feugerets, par mariage, au xixe siècle à la famille de Semallé, puis encore par mariage à la famille de Broc puis à la famille de Romanet. Il est aujourd'hui la propriété de la Famille Fautrelle de Fondaumière.