Il nucleo dell’edificio è cinquecentesco, e dal 1562 al 1564 vi dimorò San Carlo Borromeo, allora governatore di Spoleto.
La facciata del palazzo verso la direzione Duomo era stata costruita a fine 1700 da Anton Maria e Piero Ferrari, in stile neoclassico, ma fu demolita per creare la curva di Via Filitteria insieme a orti, rimesse e recinzioni. Entrambe le facciate furono ricostruite nella seconda metà dell’ottocento, opera di Filippo Bandini.
L’edificio prende il nome dalla famiglia Corvi Zacchei, discendenti di un capitano di ventura. Fu ereditato, alla estinzione di questa, nel 1755, da Antonio Travaglini. Nel 1798 il palazzo fu sede del compartimento del Clitunno, di cui Spoleto era capoluogo.