La fortezza probabilmente fu eretta dai perugini sulle colline tra Passignano, Castel Rigone e Magione prima dell’anno Mille.
Accanto alla torre rimangono ruderi tra cui la vecchia cisterna abbastanza ben conservata e i resti che indicano l’esistenza di altre costruzioni come quella di un vecchio mulino a olio del quale si conserva la massiccia macina che giace in fondo al fosso sottostante.
In origine pare che all’interno del castello ci fossero ben 4 chiese di cui una inglobata nel piano terra del castello e un’altra più tarda ebbe il titolo di Parrocchiale dedicata e Santo Stefano fin dal 1238.
Nel 1292 intorno al castello, era vivo un copioso agglomerato urbano, tanto da raggiungere il numero di 230 abitanti ma successivamente la sua popolazione diminuì per la struttura alquanto arcaica del fortilizio che lo rendeva poco difendibile.
Il suo quasi completo abbandono si ha dopo la “Guerra Barberina”, avvenuta nel 1643; la rocca veniva frequentata dai contadini locali perché al suo interno c’era una chiesa, dedicata a Santo Stefano, ancora oggi distinguibile al piano terra della costruzione.
Il castello ed i suoi terreni nell’800 ne furono proprietà della contessa Anna Baglioni Baldella e nella prima metà di questo secolo tra i vari proprietari il più sensibile fu Carlo Gogoli di Bologna che considerando ancora ospitale il luogo e la vecchia Torre la rese abitabile al piano terra ripulendola di tutte le macerie che vi si erano ammassate.
Ora di tutto questo non vi è traccia e la torre rimane isolata.