Il complesso si compone di più parti realizzate in epoche successive; la porzione più antica è quella attigua alla cappella storica – Cappella del Rosario – realizzata su progetto di Pellegrino Tibaldi nel 1582, mentre gli affreschi sulla volta sembrano essere realizzati da Gerolamo Quaresimi. Le altre volte relative a questa parte del complesso risultano decorate con motivi più semplici di tipo geometrico. Nel 1798 il convento di San Domenico, del quale anche la cappella faceva parte, venne destinato a caserma e nel 1881 si cominciarono a costruire nuovi corpi di fabbrica per la medesima caserma, ad integrazione dei locali del palazzo Zumalli, passato in proprietà al Demanio militare nel 1877.