Il Castello di Montalto è attribuito a Francesco di Giorgio Martini. Nel 1444 passò dai Malatesti ai Montefeltro. Lo stemma di questi ultimi, proveniente dal Castello, si trova ora murato sul fianco della chiesa. Nel XVII secolo la sua importanza strategica, su un’altura che controllava la via tra Pergola e Fossombrone lungo la valle del Tarugo, venne progressivamente meno, sino all’abbandono e alla rovina.