L’Oratorio fu eretto dalla famiglia Pio di fronte al palazzo nel 1605 per concessione di Papa Pio V nel 1605, che lo dedicò all’Immacolata Concezione. Fu rifatto su progetto di Manfredo XIII Pio nel 1656, in belle forme di spiccata monumentalità e solennemente benedetto il 18 dicembre dello stesso anno. Dal 1854 è proprietà, così come il palazzo, della famiglia Gasparini Casari che in esso ha posto le sue sepolture. Si tratta di un elegante tempietto a forma quadrata con cupola. Gli esterni sono definiti da trabeazione a triglifi e timpani triangolari con volute. La cupola reca specchiature ad oculi ciechi secondo un gusto decorativo di tradizioni tardo rinascimentali già presente in area mantovana. Nell’interno, molto ben conservato, spicca un paliotto in scagliola policroma con al centro raffigurata la Madonna col Bambino sovrastata dallo stemma dei Pio e le iniziali di Galasso Pio, opera di Giovanni Pozzuoli eseguita nel 1689.