Edificato nel ‘400 dalla nobile famiglia dei Simonetta, il Palazzo Ducale, noto anche come Castello feudale d’Ayala Valva, rappresenta il cuore dell’antico feudo di Carosino, al centro del borgo antico, e uno dei palazzi più antichi del piccolo comune.
A seguito dei lavori di ristrutturazione ad opera dei conti spagnoli D’Ayala- Valva nel tardo ‘800, il castello ha assunto le sembianze di un antico maniero rinascimentale orlato di una raffinata merlatura, di un avancorpo con archi a tutto sesto decorati a bugnato, e con sviluppo intorno ad una corte quadrata da cui partono le scalinate che conducono al primo piano, dove si susseguono gli ampi saloni coperti con volte a botte o a crociera.