La costruzione del Castello di Lozzolo risale tra la fine del 1400 e l’inizio del 1500 ad opera dei Conti Avogrado di Lozzolo al fine di ospitare la famiglia in un edificio più confortevole rispetto a Palazzo Nord. Rimase proprietà della famiglia Avogadro fino alla fine del XVIII secolo. Nel 1798 fu acquistato dal Canonico Carlo Amedeo Tornielli Rho ed intorno al 1875 passò ai fratelli Patriarca al fine di proseguire la loro attività di agricoltori e viticoltori. Nel tempo la proprietà, di questa porzione, fu suddivisa in tre parti uguali ed oggi risulta patrimonio di alcuni discendenti.