Il Castrum Flastrae, le cui origini sono antecedenti all’XI sec., si ergeva sul colle di S. Paolo. Esso annetteva la residenza del Podestà e il Consiglio Generale ed era attorniato da solide mura con sette torrioni ed il maschio. Tra il 1170 e il 1259 fu dominio feudale dei Magalotti, Conti di Fiastra, insieme al Castello di Poggio, di Macereto ed Appennino. Nel 1259 i Magalotti vendettero le quattro fortezze al Comune di Camerino. Del Castello restano ancora i ruderi delle mura, su tre lati, quelli di due torrioni e del maschio.