Dit is wat je stilaan een uithoek van het Bourgondische rijk mag noemen, bijna twee uur autorijden van zowel Nevers als Dijon, zowat even zuidelijk gelegen als Cluny en Mâcon.
Het stadje Charolles was al van oudsher in het bezit van de Bourgondische hertogen, maar in 1292 besliste Hugo IV om van de wijde omgeving het graafschap Charolais te maken (genoemd naar Charolles natuurlijk), bescheiden van omvang, grof gesteld een vierhoek waarvan de niet al te regelmatige zijden om en bij de veertig kilometer lang zijn. Toen een erfgename in 1327 trouwde met de graaf van Armagnac veranderde de Charolais even van eigenaar, maar de familie Armagnac zou uit pure geldnood het graafschap in 1390 voor 60.000 goudfranken verkopen aan Filips de Stoute zodat het opnieuw in handen kwam van de Bourgondiërs, deze keer de Valois-tak, de flamboyante staatslieden die zich zouden ontvouwen als de aartsvaders van de Lage Landen. De ironie van het lot zorgde ervoor dat de twee families die het verkoopcontract ondertekenden een kwarteeuw later gezworen vijanden zouden worden tijdens de burgeroorlog tussen Armagnacs en Bourguignons. Jan zonder Vrees regelde dat de Bourgondische opvolgers, de oudste zonen, voortaan eerst graaf van Charolais werden, helemaal zoals je in Frankrijk de dauphin (Dauphiné) had en vandaag in het Verenigd Koninkrijk nog steeds de prins van Wales. Zolang Filips de Goede en Karel de Stoute geen hertog waren, noemde men hen Filips en Karel van Charolais. Zo konden ze zich alvast een beetje oefenen in het omgaan met macht. Vooral Karel zou als jongeling naam maken als ‘graaf van Charolais’.
Van bij de rotonde, die treffend luistert naar de naam place Charles le Téméraire, is het een minuutje wandelen naar de groene glooiing waar ooit het kasteel stond. Vandaag blijven er nog twee (van de vijf) torens en een poort over. Filips de Goede liet tussen 1436-1450 grote werken uitvoeren en de burcht die toen al eeuwenoud was grondig renoveren, altijd maar weer om het op te nemen tegen de Fransen die de grenzen van Bourgondië bedreigden. Zijn zoon Karel de Stoute zou die inspanning voortzetten in de jaren 1460. Meest in het oog springend is de vijf verdiepingen tellende naar hem vernoemde toren uit 1474, met trappen die de bezoeker nog altijd buitenom naar boven brengen, met op elke verdieping een gelijksoortige zaal voorzien van een schoorsteen en zitplaatsen bij de ramen: warmte en uitzicht, dat hadden de wachters die het landschap in de gaten hielden natuurlijk nodig. Een deur op de vierde verdieping leert dat de omwallingen tussen de vijf toren tot die hoogte kwamen en dat de wachters vanaf hier de rondgang achter de borstwering opliepen. Karel voelde de hete adem van de Franse koning in zijn nek, en lanceerde daartoe de nodige verdedigingswerken. De schietgaten spreken voor zich.
Aan de overzijde zie je nog de ingang van het kasteel, de oude poort met haar gotische spitsboog, die een extra verdieping kreeg in latere eeuwen. Ernaast troont de Tour du Diamant, zo genoemd omwille van de afwerking van de muur met diamantkopversiering, anders gezegd: de stenen suggereren het reliëf van een diamant. Langs die poort kwam je in het stadje zelf. In de vijftiende eeuw woonden er in Charolles bijna 900 inwoners, representatief voor de meeste van Bourgondische steden op dat moment, op de grote als Dijon, Autun, Chalon en Beaune na uiteraard. In deze uithoek van het rijk kwamen de hertogen niet veel, enkel Filips de Goede (1434) en Karel de Stoute (1470) verwaardigden zich tot hier te komen. Doorgaans werd het kasteel bewoond door een kapitein en zijn garnizoen. Ook de baljuw en zijn familie verbleven er.
Na de dood van Karel de Stoute maakten de troepen van Lodewijk XI het stadje met de grond gelijk, waarna het door het niet nagekomen huwelijk van Karels kleindochter Margaretha van Oostenrijk met de Franse koning in 1493 toch weer in Bourgondische, zeg maar Habsburgse, handen belandde. Pas vanaf 1761 zou het graafschap deel uitmaken van het Franse koninkrijk.