Il palazzo, che si trova ad ovest dell’abitato di Fossombrone, fu costruito nel 1500 dalla famiglia Cangi; alla fine del secolo XVI la parte ad un piano passò ad Orazio Neri, figlio di Susanna Pergamino, sorella del celebre Giacomo, e nel 1600 la parte a due piani alla famiglia Simili, che nel 1685 la restaurò. Cesarini iniziò la restaurazione della casa alla fine degli anni ’40: provvide ad un nuovo studio ed ad una nuova camera da letto, ridiede al grande salone l’aspetto originale preparò e adattò le altre sale per esporvi le opere d’arte già in gran numero collezionate.