Au XIème siècle apparaissent les seigneurs de Chassy et leur maison-forte qui deviendra forteresse médiévale durant les conflits opposant les ducs de Bourgogne au Roi de France, puis maison résidentielle à partir du XVIème siècle. Au fil du temps, Chassy appartiendra à diverses familles dont Jean-Hector de Fay duc de la Tour Maubourg, connétable du roi Louis XIV et créteur des forges de Gueugnon.
Détaché du village sur une butte « de terre de bois » qui lui ouvre largement la vue à l’ouest, le domaine est délimité par des champs de toute part, sans forêt à proximité. De chaque route par laquelle on arrive sur la commune de Chassy, la silhouette élégante du château, flanqué de ses quatre tours toutes différentes de forme et de hauteur, s’offre immédiatement à la vue. Il est accessible par un chemin privé donnant accès directement à la basse-cour entourée de communs et d’un colombier aménagé en gîte pour deux personnes.
Ce manoir à deux logis accolés, chacun emblématisé par sa tourelle d’escalier hors-œuvre est l’archétype du petit château fort de la première moitié du XIVème siècle. Rare en Bourgogne sud, c’est un magnifique monument bien conservé et représentatif de l’architecture de son époque.