Le château St-Hugues, construit dès le milieu du X ème siècle, est un véritable modèle d'architecture militaire des X ème, XI ème  et XII ème siècles.
Il est le symbole politique de l'ancienne forteresse de Semur-en-Brionnais, aujourd'hui Plus Beau Village de France et Site Clunisien.