Il castello di Vicalvi risalente all’X secolo, prima possedimento longobardo con principi di Capua, nel 1017 rientrò tra i possedimenti di Montecassino. I monaci lo tennero fino all’inizio del XIII secolo secolo, quando passò  alla famiglia d’Aquino, che ne rafforzò la fortificazione, cingendola di un doppio anello di mura.
Dopo essere passata alla famiglia degli Étendard e ai i conti d’Aquino, il castello passò ai Cantelmo, i quali però, avendo già scelto quale propria residenza il Castello di Alvito, ne decretarono il repentino abbandono e graduale rovina. Il duca di Alvito, ad inizio XIX secolo, decise di cederlo alla famiglia Celli (imparentata con la famiglia Marsella).
I resti consentono di testimoniare le prime fasi di fortificazione all’epoca preromana, con resti risalenti al IV secolo a.C.. La prima menzione documentale del castello altomedievale risale al 937. Nel corso del medioevo dovettero succedersi diversi interventi di ampliamento. Un vero e proprio restauro si colloca al principio del XIV secolo, quando il castello era di proprietà degli Étendard. Tale collocazione cronologica si può dedurre da una serie di elementi decorativi in stile gotico nonché alcuni caratteri strutturali, come la copertura a falda unica pendente verso l’interno.