Edificato nel XVII secolo grazie alla famiglia genovese Doria Pamphili, duchi di Avigliano. Inizialmente fu abitazione e soprattutto un magazzino dove veniva conservato il grano che la popolazione versava al feudatario. Danneggiato dal terremoto del 1732 venne poi ristrutturato due anni dopo nel 1734. Il comune lo acquistò nel 1911 adibendolo inizialmente a pretura e dopo averlo reso carcere divenne casa di riposo per anziani. La facciata principale del palazzo è quella originale.