Il Palazzo degli Ippoliti, detto Palazzo Castello, risale al XVI secolo e fu fatto costruire dai conti Ippoliti nel periodo di massimo splendore del loro feudo imperiale che, nato intorno al 1350, si estinse soltanto a seguito della campagna d’Italia di Napoleone Bonaparte, nel 1796.
La fortuna del palazzo seguì la fortuna della famiglia Ippoliti. In particolare i saloni del Piano nobile sono impreziositi dagli stucchi e dalle decorazioni floreali della grande scuola artigiana ed artistica mantovana del ‘700. Dopo l’unità d’Italia attorno al grande palazzo Ippoliti, denominato dalla popolazione “il castello”, erano ancora aperti i fossati di recinzione che oltre ad impedire il passaggio di uomini e cose, costretti a muoversi sulla strada Levata attraverso uno stretto pontile, rendevano con le acque stagnanti malsano l’ambiente. Nell’intento, quindi, di risanare la situazione igienica e di allargare l’area del mercato del bestiame e di creare una piazza degna di questo nome, l’amministrazione comunale decideva di acquistare le fosse ed il prato adiacente al palazzo; nel 1861 il Comune dava seguito all’otturamento delle fosse ed alla creazione della piazza antistante il palazzo. Le vicissitudini successive portarono il palazzo in mani meno attente alla sua conservazione ed al suo più consono utilizzo. Ciò nonostante si rilevano interessanti decorazioni del periodo liberty risalenti agli inizi del ‘900.
Il palazzo è formato da due blocchi distinti, di uguale altezza e di identiche dimensioni in pianta a forma pressoché ad L. Risultano abbastanza evidenti alcuni scarti presenti nella muratura che confermano l’esistenza originaria del blocco centrale principale e di collegamento delle due ali.