Il complesso è situato in posizione dominante rispetto all’edilizia minore del borgo agricolo. L’edificio sorge in contrada Arioso, piccolo borgo agricolo di circa un centinaio di abitanti, per la maggior parte dediti alla pastorizia e all’agricoltura.
Tra la fine del X e l’inizio dell’XI secolo viene ricostruita parzialmente la parte più interna del Palazzo ad opera di una congregazione di frati trinitari provenienti da Venosa e viene realizzata la piccola chiesa adiacente all’edificio. In età borbonica i frati vennero cacciati e l’edificio tornò ad essere un palazzo baronale. Dalla prima metà dell’800 fino ai primi del ‘900 ci furono una serie di interventi e di ulteriori espansioni. Agli inizi del XX secolo l’edificio fu ulteriormente rimaneggiato, trasformando le parti sud-est in alloggi per la servitù, il piano terra in stalle e parte della struttura trasformata in carcere.
Il complesso è articolato a tre piani a valle (prospetto sud) e due a monte (prospetto principale). Al primo piano sono visibili le celle dei frati collegate al cortile e la grande refettorio. Annessa al complesso vi è una chiesetta ad unica navata che conserva un affresco della “Vergine Ascendente” di Giacomo da Senise. Di particolare interesse architettonico è la scala interna che collega i vari piani caratterizzata da una struttura a rampe poggianti su archi a tutto sesto. Tutti i balconi sono caratterizzati da soglie in pietra lavorata, mentre la loggia principale conserva quattro elementi in ferro battuto finemente lavorati.
Gli interni del piano terra, meglio conservati, hanno la struttura caratterizzata da volte a botte e da volte a crociera.