Il castello di Casoli è citato dalle fonti come esistente già nel 1180; più tardi entrò a far parte della Vicaria della Val di Lima sotto il controllo del Comune di Lucca. Nel 1337 subì diversi danni per l’attacco dei Fiorentini, che furono riparati insieme alla costruzione di ulteriori fortificazioni. Doveva essere ancora in uso e ben munito nei primi decenni del XV secolo, visto che secondo Sercambi rientrava nell’elenco delle fortificazioni che Paolo Guinigi (1400-1430) doveva manutenere.
I resti del castello di Casoli sono costituiti da almeno due corpi di fabbrica e avanzi di una parte della cinta muraria localizzati nell’area sommitale di loc. “Castello” o “Colle delle Buchette”. CF 1 presenta una pianta non precisamente definibile a causa della vegetazione che lo ricopre, ma probabilmente rettangolare, di cui si conservano i prospetti ovest ed est, caratterizzati da una muratura in grosse bozze di calcare. Il secondo CF è costituito da una struttura muraria semi-circolare realizzata contro versante in bozze di calcare di dimensione eterogenea, disposte in filari sub-orizzontali, talvolta sdoppiati; nella porzione est è in appoggio al CF1. Il tratto di cinta muraria visibile, ubicato a nord di UT 57=CF 1, ha un andamento curvilineo che segue il versante nord-est della sommità ; la muratura è realizzata a in conci e bozze riquadrate di calcare di medie e grandi dimensioni disposti in filari orizzontali su doppio paramento e nucleo; sul prospetto esterno prospetto generale nord il nucleo risulta esposto. Altri spezzoni della cinta muraria risultano incorporati nei terrazzamenti di proprietà private visibili nella parte sommitale di via di Castello.
