Dopo aver distrutto un precedente centro incastellato durante gli scontri con la città di Milano (1158), l’imperatore tedesco Federico I detto il Barbarossa, consapevole dell’importanza strategica di San Colombano, decise di ricostruire il Castello nel 1164. Il complesso subì nel tempo numerose trasformazioni e rimaneggiamenti, in base alle esigenze dei proprietari che si susseguirono nei secoli: dai Visconti-Sforza (che alla fine del Trecento concessero i proventi del feudo e del Castello banino ai Certosini di Pavia, divenuti in seguito proprietari effettivi, fino alla soppressione dell’ordine nel 1782) fino ad arrivare ai Belgioioso, che fecero del castello la loro residenza signorile.