Del castello di Gavardo restano poche rovine, ma è ben individuabile la pianta dell’antica struttura.
Risulta nell’elenco delle Decime del 1302 la presenza della chiesa di S. Martino di Gavardo o Meleno, riportata come dipendente della Pieve di S. Eleocadio, cessando il culto alla metà del Seicento.
Nella località si trovava anche un oratorio dedicato a S. Francesco diroccato nel XVII secolo.
Il castello, ed il relativo feudo, fu venduto nel 1364 da Neri da Roteglia a Feltrino Gonzaga. Nel 1421 viene ceduto dal Duca di Milano Filippo Maria Visconti a Nicolò III d’Este, questi lo affiderà nel 1432 a Jacopo Gilioli. Nel 1445 fu concesso alla famiglia Sacrati di Ferrara con il Feudo di S. Valentino, cui appartenne fino la fine del Settecento. Il Ricci ne riporta la popolazione, alla fine del XVIII secolo, in 221 abitanti.
Dalla località si trasferirono a Cadiroggio verso il 1600 i signori Severi. Attualmente rimangono alcune rovine del castello e, nel borgo, una casa-torre adibita ad usi rurali forse riferibile al XVII secolo. Ora la località è semidisabitata.