Il Castello di Montalto, attribuito a Francesco di Giorgio Martini, partecipa, assieme ad altri dieci castelli al sistema difensivo del contado di Fossombrone. La rocca svolgeva quindi un ruolo di sorveglianza dell’intera valle. Nel 1444 passò dai Malatesti ai Montefeltro. Lo stemma di questi ultimi, proveniente dal Castello, si trova ora murato sul fianco della chiesa. Nel XVII secolo la sua importanza strategica, su un’altura che controllava la via tra Pergola e Fossombrone lungo la valle del Tarugo, è venuta progressivamente meno, sino all’abbandono e alla rovina.

C’è anche una versione popolare che spiega, a modo suo, l’abbinamento dei due termini; riguarda la costruzione della rocca con ciottoli prelevati dal Tarugo e portati fin lassù con il sistema del passamano.