Dit kasteel brandde af tijdens de godsdiensttwisten in 1584, en werd vervolgens heropgebouwd. Het kreeg het ook zwaar te verduren tijdens W.O.I, maar werd als ruïne grondig gerestaureerd. Sommige delen van muren en torens klimmen nog op tot eind vijftiende eeuw, het tijdperk waar de gemotiveerde lezer van Stoute schoenen best naartoe wil.
Na de dood van Maria van Bourgondië (1482) bekommerde haar stiefmoeder Margaretha van York zich over de opvoeding van Filips de Schone en Margaretha van Oostenrijk. Ze brachten, zoals elders in mijn boek beschreven, een groot deel van hun jeugd door in Mechelen, maar zakten ook jaarlijks af naar het kasteel ter Elst om er de zomers door te brengen. Dat beviel Filips de Schone zo erg dat hij na zijn Liers huwelijk in 1496 aan de rechtmatige eigenaar (de norbertijnen van Tongerlo) vroeg of hij het kasteel kon kopen, maar de abt weigerde. Na zijn dood kwam Margaretha van Oostenrijk aan zet. Ze trok zich het lot van Filips’ zoon Karel aan. Het systeem werd overgedaan: heel het jaar verbleven ze in Mechelen, des zomers trokken ze naar Duffel. Ook later vanuit Spanje zou Karel V zich Duffel nog herinneren en bijvoorbeeld de lokale lakenhandelaars het monopolie van sargie geven, een laken dat nergens anders kon worden geweven. Je kunt begrijpen dat historische onderlegde inwoners met enige aanleg voor chauvinisme durven beweren dat keizer Karel een halve Duffelaar was.