La torre sorge sopra il borgo a 180 m s.l.m. in località Castellaro e la sua presenza si può datare almeno al 1348. Di proprietà della famiglia Rinalducci dal secolo XVII, probabilmente fu usata per l’avvistamento di navi barbaresche o turche, avversarie dello Stato Ecclesiastico, per segnalare atti ostili e comunque a difesa di Fano.