L’edificio dell’ex seminario in origine fu convento dei Carmelitani che, giunti a Fermo nel 1491, edificarono in questo punto, incorporando ed allargando preesistenti edifici di proprietà della attigua chiesa di S. Maria novella della Carità (ampliando anch’essa e dedicandola alla Madonna del Carmine).
Agli inizi del seicento è divenuto sede del Seminario, ampliato e potenziato da papa Sisto V, già vescovo di Fermo, e sistemato nelle forme attuali nel 1776 da Pietro Augustoni.
Fino agli anni cinquanta ha ospitato Seminario arcivescovile (nei primi anni del Novecento anche il Collegio Fontevecchia); successivamente la Casa del Clero fino alla destinazione odierna (Università e Conservatorio).