Depuis dix siècles, le château de Chastellux n'a cessé d'être agrandi, embelli, et restauré par les générations successives qui en sont toujours restées propriétaires.
La famille de Chastellux prend son origine dans la famille de Montréal, puissante maison bourguignonne et de la Champagne.
Guy, le frère cadet d'Anséric IV de Montréal se détache du fief de Montréal au début du XIIIe siècle et crée sa propre lignée sur la seigneurie à Beauvoir. Les seigneurs de Beauvoir deviennent possesseurs de fiefs importants tel que les seigneuries de Chastellux et de Bazoches, et la vicomté d'Avallon. Ils installent au début du XIVe siècle à Chastellux, leur résidence principale sans jamais en changer depuis lors, et la famille va prendre comme patronyme Chastellux, fief de leur résidence, et délaisser celui de Beauvoir.
L'indépendance de la seigneurie de Chastellux va prendre fin en 1321 avec l'hommage rendu au Duc de Bourgogne et la reconnaissance de suzeraineté ducale. Les seigneurs de Chastellux vont alors toujours être au côté du Duc de Bourgogne, et notamment lors de la guerre de Cent Ans.
Le Maréchal de Chastellux combat victorieusement les armées franco-écossaises lors de la bataille de Cravant le 31 juillet 1423. Cette victoire lui permet d'obtenir de nombreux privilèges. En 1592, Olivier de Chastellux, Vicomte d'Avallon, gouverneur de Cravant, entreprend l'embellissement du château et réalise les premiers ornements décoratifs.
Le chevalier-marquis de Chastellux s'est fait avec l'aide de Buffon, pour la première fois en France, le vaccin contre a petite vérole avec succès. Henri-Georges, Comte de Chastellux, reprend la charge de Chevalier d'Honneur de Madame Victoire, fille de Louis XV.
En prévision des menaces révolutionnaires qui s'annoncent, les Princesses de France, sur l'insistance de Louis XVI, quittent la France pour l'Italie en février 1791. Elles demandent aux Chastellux de les accompagner. Le château n'est alors plus habité et ils ne reviendront qu'à la fin de l'Empire, en 1810, après 19 ans d'absence. Leur fille, Georgine de Chastellux, épouse Charles de La Bédoyère, Colonel au 112e de ligne dont la fin s'annonce tragique. Il accueil Napoléon lors de son retour de l’île d'Elbe et se met à son service alors que Louis XVIII l'avait chargé de son arrestation.
Après la Chute de Waterloo, Louis XVIII fait fusiller Charles de La Bédoyère le 19 août 1815 à la Barrière de Grenelle à Paris, malgré la grande amitié qui lie le monarque à la maison des Chastellux. A l'occasion du mariage du comte Henri-Louis de Chastellux, Louis XVIII lui conféra le 15 août 1819 le titre héréditaire de marquis de Duras de Chastellux et le jour même du mariage, le titre de Rauzan-Duras et de jouir des honneurs du Louvre.
Descendant des premiers Seigneurs de Chastellux, l'actuel propriétaire conserve avec soins ce patrimoine légué par ses ancêtres. Il accueille les visiteurs et partage sa passion du lieu qui se trouve être un résumé de l'histoire de France.