Le prime notizie sull’edificio, da sempre adibito a uso residenziale, risalgono al periodo degli Orsini che ne furono proprietari nel XVI secolo. Le famiglie che più hanno apportato trasformazioni al suo impianto sono quelle dei Marsciano (XVII secolo) e dei Calabresi (XVII-XX secolo). Nel corso degli anni, il palazzo originario è stato ampliato, arricchito nelle sue decorazioni, rispecchiando il mutare delle corresti artistiche. Al periodo dei Marsciano, nel XVII secolo, è attribuita la lavorazione a graffito della facciata su via dei Magazzini, mentre sono di epoca ottocentesca le aggiunte in stile neogotico a opera del pittore Pietro Vanni (1845-1905) che vi stabili la sua residenza avèndo sposato Angela Bevilacqua Calabresi.