Bouw en verbouwingen aan het kasteel: een eeuwenlang project

Nadat rond 1325 werd begonnen met de bouw van het kasteel is er nog eeuwenlang aan ge- en verbouwd. Dit gebeurde in zeven fasen: de eerste fase startte in 1325, de laatste fase werd afgerond in 1690. In 1549 werd men opgeschrikt door een brand die een groot deel van het woongedeelte verwoestte. In 1920 werd het kasteel verkocht aan de gemeente Helmond door Anna Maria de Jonge van Zwijnsbergen. Zij was de vrouw van Carel Frederik IV Wesselman en de laatste bewoonster. Ze verkocht het kasteel onder de voorwaarde dat de gemeente het kasteel slechts zou gebruiken "ten openbare nutte". Dat gebeurde ook: het kasteel werd het raadhuis van Helmond en dus was opnieuw een uitgebreide restauratie nodig. In 2002 vertrok de gemeenteraad naar het nieuwe bestuurscentrum Boscotondo en werd de museumfunctie van het kasteel uitgebreid.