Het is hier dat Karel V zich na zijn troonsafstand terugtrok en de laatste jaren van zijn leven doorbracht. Enerzijds is er het klooster, anderzijds de woonvertrekken van de man die zowel koning van Spanje als keizer van het Heilige Roomse Rijk was
En in die laatste hoedanigheid ook soeverein van de Lage Landen (waar hij ooit in Gent ter wereld was gekomen). De laatste Bourgondiër zou in Yuste verblijven van 1556 tot aan zijn dood op 21 september 1558. Het was zijn droom geweest om zijn zwanenzang te beleven als diepgelovige kluizenaar. Dat heeft hij ook oprecht geprobeerd, weliswaar in het gezelschap van een kleine hofhouding.