Intorno alla metà del XVI secolo fu sede del Convento dei frati Conventuali della Madonna. Scarse sono le notizie che portano a supporre che qui vi fosse l’antica chiesa “Sanctae Marie Nove de Hyrberia” citata in un documento del 1342. Il nucleo originario sembra sia costituito dalla chiesetta e dalle due ali est e sud. Al 1635 si deve la costruzione del chiostro. Le diverse esigenze dei monaci hanno portato allo sviluppo della struttura con la costruzione di nuovi vani e nuovi edifici attorno ad un nuovo cortile a ridosso dell’ala nord del chiostro originario. Nel 1768 con le soppressioni ecclesiastiche di Francesco III il complesso fu requisito e successivamente ceduto al Conte Greppi di Milano che lo trasformò in residenza estiva. Sono di questo periodo interventi di ristrutturazione piuttosto massicci: la facciata ad est del palazzo acquista le caratteristiche architettoniche tipiche del ‘700 con ampie finestre, cornici e balaustrine, con precisa ed a volte forzata simmetria che portarono al taglio netto dell’abside della chiesetta e la costruzione della propaggine sull’angolo nord-est. Successivamente fu acquistato dal Cavalier Rainusso da cui deriva il nome.
Il palazzo, di rilevante interesse architettonico, si articola su due livelli con chiostro interno in cui sono notabili le arcate, in parte murate, ripartite da pilastri in cotto. All’interno da segnalare la sala capitolare ed un grande scalone settecentesco, mentre numerose porte sono decorate con motivi ornamentali e paesaggi. Le cancellate in ferro battuto che chiudono il parco storico, con piante centenarie di indubbio pregio paesaggistico, sono pregevole opera attribuita al modenese Giovan Battista Malagoli (1729-1797).