Presumibilmente già nel 1490 iniziava la costruzione della chiesuola e di un parte del conventino. Nel 1777  la chiesa fu affidata per l’officiatura al parroco locale. Pochi anni dopo, nel 1791, il quadro raffigurante la Beata Vergine dei Miracoli e gli altri arredi furono trasferiti nella chiesa parrocchiale di Gonzaga, ove tuttora si conservano. Le origini del convento sono strettamente connesse con quelle della Fiera Millenaria di Gonzaga.

Il complesso monumentale dell’ex convento di S. Maria ha subito notevoli integrazioni, modifiche e purtroppo demolizioni nel corso dei secoli. Oggi si presenta con un chiostro sul quale si affacciano sale sia al piano terreno che al primo piano, limitatamente ai lati sud, ovest e parte del lato nord. La restante porzione delle costruzioni a nord è crollata, mentre la chiesa è stata demolita, ad eccezione del presbiterio, inglobato in una successiva costruzione. È comunque possibile individuare il nucleo originario, costituito da un piccolo cortile quadrato porticato e limitato per tre lati dalle costruzioni ad uso degli eremiti e per il quarto lato dalla chiesa. L’accesso avveniva tramite un piccolo locale, adiacente alla facciata ed all’ingresso della chiesa, in fregio alla strada che da Gonzaga conduce a Reggiolo. Il porticato, retto da colonne in cotto con capitelli a scudo dello stesso materiale, era coperto da volte a crociera in muratura e protetto dalle intemperie da un tetto in laterizio a quattro falde convergenti verso l’interno. Il presbiterio conserva, pur se nascosto, l’arco trionfale impostato su semicolonne e capitelli a scudo analoghi a quelli del chiostro. Il complesso, nel suo insieme, può essere avvicinato alla architettura degli ordini mendicanti, ed in particolare a coloro che osservavano la regola di S. Agostino, dal cui ceppo sembrano trarre origine gli eremiti di Gonzaga. Le colonne ed i capitelli a scudo, come pure l’impostazione generale del fabbricato, l’impiego di murature con giunti stilati e di finiture con intonaco dipinto a finto mattone si avvicinano alla tradizione locale tardogotica, quando, già da oltre mezzo secolo, anche Mantova aveva acquisito i modi e le forme proprie del rinascimento fiorentino. Dopo l’ingresso dei Carmelitani il convento fu in parte ristrutturato per le mutate esigenze, proprie della vita comunitaria dell’ordine, con la sopraelevazione del porticato realizzando un corridoio perimetrale anche al primo piano. Inoltre, intorno al 1640, i frati fecero fabbricare, in fregio alla strada, 70 occhi di portico che venivano affittati ai mercanti nel periodo della fiera, e che furono demoliti agli inizi di questo secolo. L’aspetto interno del fabbricato mutò ancora nel secolo XVIII in particolare per quanto riguarda il chiostro, completamente reintonacato, con un basamento di color rosso mattone, le colonne bianche, i capitelli grigio-azzurri, bianco avorio le pareti soprastanti con l’eccezione delle finestre, limitate da una stilatura e coloritura a mo’ di falsa centinatura e delle cornici di gronda, che richiamavano il colore dei capitelli. Le volte sotto il porticato furono alternativamente dipinte di bianco e giallo mentre tutte le lunette venivano affidate al pittore Pietro Mazzoccoli di Carpi, con il compito di dipingere scene della vita di S. Alberto degli Abati, oggi conservate solo in parte. Lo stesso pittore probabilmente decorò anche l’entrata, secondo quanto sostiene lo storico Eustachio Cabassi (Garuti).

Dopo la soppressione della congregazione carmelitana il convento fu abbandonato, la chiesa demolita, e la restante porzione del fabbricato passò attraverso vari proprietari: nel corso della prima metà del nostro secolo era abitato da circa una trentina di famiglie che, tamponate le arcate del chiostro e suddivisi i locali con tramezze, vivevano nella indigenza, garantendo da un lato la conservazione del fabbricato, ma provocandone dall’altro il degrado, con interventi incongruenti. Negli anni ’70, abbandonato da queste famiglie, fu in parte adibito ad officina meccanica, con grave pregiudizio per le finiture e per le stesse strutture. Successivamente una parte fu acquisita dal comune e oggi vi risiede la biblioteca comunale mentre la parte private versa in uno stato di forte degrado e rudere.