Le fortificazioni di Polverigi recingono il centro storico grazie ad un insieme di opere realizzate nell’XI-XII secolo di cui fanno parte e l’antico castello e le mura urbiche a cortina. Si tratta quindi non di un vero e proprio castello bensì di un borgo fortificato come tanti altri nelle Marche. La sua forma è ovoidale e sorge adagiato su una collinetta con un’unica porta sul versante ovest. Alla fine del ‘300 dopo l’invenzione delle armi da fuoco, le mura furono trasformate in fondazioni per gli edifici soprastanti mentre il lato ovest fu occupato dal Palazzo Comunale, costituito da un corpo di fabbrica e da una torre civica. Le parti più imponenti (non agevolmente visibili) delle sue mura, sono quelle su Via Fossarile, ma la cerchia muraria prosegue ininterrottamente fino a Piazza Umberto I dove si ricongiunge al Palazzo Comunale.

Della sua antica struttura interna rimangono due soli edifici, le numerose grotte scavate sotto quasi tutti gli edifici, ed una neviera recentemente riscoperta e, infine, due delle tre torri. L’unica rimasta intatta è la torre civica mentre della seconda abbiamo traccia della sola base. Oggi il Castello, chiamato affettuosamente “Roccolo” per la sua forma rotonda, è il centro storico del comune.