La possente Torre medioevale, alta circa venti metri e formata da grossi conci di pietra lavorata, si erge al centro del borgo di Castello della Pieve. Sulla sommità della Torre si eleva ciò che rimane del seicentesco campanile a vela a due celle, contemporaneo della chiesa. Dopo essere stato abbandonato, Castello della Pieve ha subito un inesorabile degrado. Solo recentemente, grazie ad interventi di restauro e consolidamento, si è provveduto al recupero parziale del borgo.