A partire da un nucleo preesistente il palazzo fu edificato sul finire del milleseicento dal nobiluomo Don Nicola Francesco Palomba, discendente da un’antica famiglia gentilizia autoctona del luogo almeno dal 1544. Nella prima metà del settecento l’edificio fu portato alle condizioni attuali dal figlio Don Giovanni Francesco Palomba, che ne completò la facciata.
Fu per tutto il XVIII secolo la dimora della ricca famiglia Palomba e fra i personaggi importanti che vissero nel palazzo si ricordano: il sacerdote rivoluzionario Don Nicola Palomba (1746-1799), governatore del Dipartimento del Bradano decapitato in piazza del Mercato a Napoli dopo la caduta della Repubblica partenopea, il fratello, l’avvocato e patriota Don Giustiniano Palomba (1751-1800) e il giovane studente Don Francesco Paolo Palomba (1779-1799), ucciso nei tumulti nati in seguito al suo intervento a Castel Sant’Elmo (Napoli) durante l’insurrezione repubblicana del 1799.
Dopo i Palomba il palazzo passò agli Stolfi ed alla fine dell’Ottocento l’avvocato Giulio Stolfi, già sindaco di Avigliano, lo donò al comune che nel 1898 al suo interno istituii una casa di riposo. Da rilevarsi è la pregevole presenza della torre con orologio, così come nel passato del giardino pensile.