Il castello di Montelabate conserva buona parte della cinta muraria; il suo interno, accessibile attraverso l’unica porta, è completamente colonizzato da alberi ad alto fusto. Il castello, a breve distanza dall’Abbazia, nasce nell’età di mezzo come ricovero per i contadini. La sua fama è legata alla ben più famosa Abbazia di Santa Maria di Valdiponte più conosciuta con il nome di Abbazia di Montelabate.
Verso la metà del XVII secolo il cardinale Filippo Monti introdusse nell’Abbazia i cistercensi quindi il castello, dove era una dipendenza laica del convento, cambiò proprietà.
Nel 1860, con l’unità d’Italia, i cistercensi vennero cacciati e l’abbazia venne venduta al marchese Medici che la trasformò in villa e fattoria, cominciò il declino del castello fino alla sua definitiva scomparsa.
Le mura del castello abbracciano una vasta area frequentata ora solo da animali selvatici.