Disseminate per il centro storico di Fano si trovano le case- torri, tipo di costruzione fortificata situata all’interno della cinta muraria, sviluppatasi durante il basso medioevo quando la città, tornata a popolarsi dopo le distruzioni barbariche, restava comunque pericolosa e per questo costretta a difendersi dalle insidie. Le case torri venivano normalmente usate come abitazioni ma all’occorrenza potevano diventare strutture militari con strategici osservatori nella parte più alta.
Lungo via Nolfi si trova la casa torre di Sant’Elena, l’unica ad essere libera su tutti e quattro i lati. A pianta quadrata, è costruita con blocchetti di arenaria, a cui si sono aggiunti elementi in cotto nelle ristrutturazioni successive. L’ultimo livello è dotato di aperture ad archivolto su ogni lato e tetto a padiglione.
Venne successivamente trasformata in torre campanaria della medioevale Chiesa di S. Croce, poi distrutta dai bombardamenti del 1944 e in seguito sottoposta ad intervento di recupero.