Nel 1638 i Gonzaga assegnano a Ferdinando Cavriani il titolo di marchese per il suo ruolo di diplomatico. La nobile famiglia sopravvive ai Gonzaga e durante il periodo austriaco diventa così potente da permettersi un ambizioso rifacimento della dimora quattrocentesca nel quartiere San Leonardo. Il marchese Antonio incarica l’architetto bolognese Alfonso Torreggiani del rinnovo del palazzo, che diventerà uno dei più imponenti della città, con un impianto simmetrico – sola eccezione l’arrotondamento dello spigolo sud-est – attorno a un cortile centrale che comprende 140 stanze su tre piani e vari livelli ammezzati, uno scalone, la torre dell’orologio con una grande terrazza. Gli ambienti interni e soprattutto il grande salone da ballo sono decorati dai migliori artisti dell’epoca, come Giuseppe Bazzani e Francesco Maria Raineri detto lo Schivenoglia. Nel 1826 il marchese Luigi Cavriani, prefetto della congregazione della città, acquista e fa demolire casa Spolverini, collocata di fronte, per fare spazio davanti al nuovo palazzo. Sull’area demolita fa disegnare a Giambattista Vergani un giardino romantico con tredici busti di personaggi rinascimentali della città e una statua di Virgilio in marmo (1835) dello scultore milanese Stefano Gerola. Da quel momento la strada cambia nome in via Giardino. Nel 1839 la proprietà si estende al vicino palazzo dell’Abate con un passaggio in quota sopra vicolo Cappuccine, per destinarlo alle collezioni di famiglia; nel 1857 si estende verso nord inglobando palazzo Biondi e poi fino all’intero isolato, in fondo al quale viene realizzata la palazzina Cavriani con le stalle. Nel 1988 l’ultima discendente, la marchesa Aliana Cavriani, vende la proprietà. Inizia un periodo di abbandono per la struttura, soggetta a degrado e a pesanti e continue manomissioni. Dal 2015 il palazzo, insieme con il giardino, è stato messo all’asta più volte finchè è stato acquistato ed è ora in corso l’intervento di restauro.