Si tratta di un palazzo assai noto che si trova nella città alta non lontano dalla chiesa di San Maurizio al confluire di via al Castello con via Principi d’Acaja, principale arteria della Pinerolo medioevale. Il Palazzo secondo una consuetudine storica consolidata venne edificato nel 1318 per volere del principe Filippo d’Acaja, ma alcuni studi recenti di storici dell’architettura hanno attribuito la prima edificazione per volere degli abati di Santa Maria in un’epoca assai più antica.
Il complesso situato su un grande dislivello si compone di tre maniche poste a forma di ferro di cavallo (di circa 26×26 m). La manica principale, di mattoni a vista, prospetta verso la via per tre piani e verso l’interno di due livelli, porticato al piano del pregevole cortile e loggiato superiormente. Su questa parte si innesta il corpo con il vano scale di tre piani fuori terra oltre l’interrato e la facciata rivolta a monte in direzione nord-est.
L’ultimo braccio è formato da tre piani fuori terra, di cui al primo troviamo due ambienti con volte a crociera, mentre al secondo in locali assai semplici e scarni sono stati ritrovati alle pareti importanti decorazioni ad affresco di grande qualità e buono stato di conservazione. Intorno al 1860 venne abbattuta la bella torre cilindrica e merlata della parte abitativa presente in molte stampe seicentesche.