Il sito di Castelpagano è situato a circa 8 km a sud-est di Apricena, su di uno sperone roccioso a 545 metri di altitudine e domina l’accesso alla valle di Stignano. Castelpagano è citato nel 1095 a proposito del diritto d’uso dell’incolto. Il castrum paganum sorto in età normanna subì delle ristrutturazioni in epoca federiciana e venne abbandonato all’inizio del XV secolo.
L’insediamento castellare è costituito da una fortezza e da un borgo cinto da una cortina muraria. La struttura del castello presenta un mastio trapezoidale con una torre pentagonale a SO e due torri circolari: una di dimensioni maggiori a N e una più piccola a SE di avvistamento. Ai piedi della fortezza si sviluppa l’abitato con numerose strutture riferibili ad abitazioni e altre piccole costruzioni con funzione di cisterne e depositi (80 ca.). Tra quest’ultimo e la fortezza sono presenti sul sito i resti di una chiesa ad aula.

