Edificato a partire dal 1370 per volere di Bernabó Visconti, il castello sorgeva in un’area precedentemente occupata dal monastero benedettino di Santa Croce, da cui erediterà il nome.
Modificato più volte nel corso dei secoli, prima sotto Gian Galeazzo Maria Sforza e poi durante la breve dominazione di Cabrino Fondulo, il castello cambierà volto sotto Francesco Sforza che con lui raggiungerà il maggior grado di sicurezza e sfarzo tanto da diventare uno dei castelli più belli del tempo.
Incaricato dell’opera di ampliamento e rafforzamento delle difese è l’architetto Bartolomeo Gadio che farà costruire un barbacane, due rivellini e una seconda cinta muraglia interna.
Fra gli ospiti illustri del castello ricordiamo Ludovico il Moro e Bianca Maria Visconti.
Nel 1784, sotto l’impero di Giuseppe II d’Asburgo, il castello viene venduto al marchese Magio che inizierà a demolirlo per ricavarne profitto con il materiale di risulta.
A inizio ‘800 vennero completate le operazioni di demolizione e oggi del castello di Santa Croce non rimane che un torrione e piccole porzioni di mura.