Les seigneurs édifient, en 1er lieu, le majestueux donjon. Les deux premiers niveaux datent de 960-980, les deux supérieurs du siècle suivant. Au 12ème siècle, deux tours en fer à cheval sont construites pour protéger la tour résidentielle, avec système défensif à pont-levis, herse et assommoir, ancêtre du mâchicoulis.
le plan de la forteresse se dessine. Les villageois s'installent au pied du château, dans le quartier de la basse-ville séparé de la place forte par une muraille. Cette enceinte englobe le quartier politique marqué par le château et le quartier religieux occupé par l’église Saint Hilaire (12ème siècle).
En 1575, lors des Guerres de Religion, les reîtres huguenots du prince de Condé incendient le village, dont le château qui perd définitivement sa fonction défensive.
les tours rondes deviennent les prisons du village où l'on rend la justice depuis le Moyen-Age.
En 1780, l'architecte Guillemot conduit les travaux d'un nouvel auditoire de Justice au centre de la place et restaure les cellules des deux tours rondes du château .
Les travaux sont considérables : l'entrée à pont levis est bouchée pour laisser place à un nouvel escalier qui mène aux cellules. Les meurtrières et portes d'entrées médiévales des tours prisons sont bouchées et de nouvelles sont percées. L'architecte édifie un bâtiment au devant du château pour abriter d’autres cellules et la maison du geôlier. Une cours est aménagée pour la promenade des prisonniers.
Le donjon reste abandonné...
les travaux sont achevés en 1788, à la veille de la Révolution Française. Les révolutionnaires récupèrent les prisons et le tribunal mais n'occasionnent pas de dégâts dans le village.
Il faut attendre 1968 pour que les premiers villageois perçoivent le château en tant que trace du riche passé historique de Semur-en-Brionnais. Ils fondent l'association
Les Vieilles Pierres dont la mission est de restaurer et de valoriser le patrimoine communal de Semur-en-Brionnais, particulièrement le château fort Saint Hugues, nommé ainsi en souvenir du
célèbre enfant de Semur. Le monument est ouvert au public en 1969 et inscrit à l'Inventaire supplémentaire des MH en 1971.