Il complesso architettonico dell’ex Orfanotrofio occupa un ampio isolato compreso tra Via Tommaso Grossi e Via Dante, situato immediatamente al di fuori della città murata, in prossimità della Torre di S. Vitale, adiacente alla chiesa di S. Orsola e ai resti di quello che probabilmente era un convento di Umiliati.
È un complesso a corte a 2 piani; la struttura, realizzata in edilizia di pregio del IX secolo in stile neoclassico, presenta una pianta complessa, che si sviluppa su due piani fuori terra (oltre il sottotetto) attorno a quattro cortili. Gli edifici lungo la Via Tommaso Grossi e il primo tratto di Via Dante sono a cortina.
Il cortile principale è caratterizzato al piano terra dal portico con alte colonne con capitelli dorici e archi a tutto sesto e al piano superiore dalle semicolonne con capitello ionico.