Le origini del Borgo di Brienza risalgono presumibilmente al VII secolo d.C., quando una comunità di pastori si insedia nella zona. La formazione del primo nucleo abitato è forse coeva alla costruzione di una roccaforte longobarda del Principato di Salerno, edificata data la posizione strategica che le consentiva di controllare la vallata sottostante. Il versante Nord-Est del colle, con pendenze più lievi, era difeso da una cinta muraria che collegava la roccaforte con un avamposto più in basso, nelle cui vicinanze ancora oggi è visibile la porta denominata s Martino, quasi certamente la prima della città.
Brienza passò nelle mani di diversi feudatari nei secoli, tra i quali Guglielmo d’Altavilla e Gentile di Petruro, fino alla famiglia Caracciolo, che ne conservò la proprietà dal 1428 sino agli inizi del XX secolo, tant’è che il castello è comunemente noto come Castello Caracciolo.
L’antico centro si caratterizza per il modello ad avvolgimento che trova il suo fulcro naturale proprio nel maniero, dal quale si divincolano una miriade di case e casette aggrappate alla roccia scoscesa.
L’antica fortezza, di origine angioina, come si può evincere dal mastio cilindrico, che svetta dalla sua imponente mole, e dalla semitorre circolare proprio al centro della cinta muraria, è uno dei gioielli di Brienza. Una scalinata in pietra, a cielo aperto, e assolutamente visibile, conduce ad un terrazzo a terrapieno proprio davanti all’ingresso principale.