Il palazzo è stato abitato da due delle più famose famiglie bresciane, gli Avogadro prima ed i Martinego Colleoni poi.
Palazzo Avogadro è citato per la prima volta dalle fonti nel 1473, nel testamento di Pietro Avogadro. Passerà poi in dote a Bartolomeo Martinego Colleoni di Malpaga nel 1620, poi nel 1707 al Pio Luogo della Magnifica Pietà e infine alla città di Brescia nel 1738. Durante il XVI secolo vengono eseguiti notevoli lavori di rinnovamento, tra i quali l’intervento di Lattanzio Gambara sul salone d’onore, probabilmente tra il 1566 ed il 1567.
Dall’odierno corsetto Sant’Agata, attraverso un grande portale si accede all’androne coperto. Nella serie di locali compresi tra la scala a chiocciola, di fattura medievale, e il limite est della fabbrica trovavano probabilmente collocazione le stalle e la rimessa delle carrozze. La fronte ovest della prima corte presenta due aperture arcuate al primo ordine: quella a sud, su semi pilastri, immette in un “camerino” coperto con volta su mensoloni che accompagna al secondo cortile; quella a nord, su colonne con base a capitello, conduce, passando per un terzo cortile, ad una serie di ambienti di servizio tra cui la cucina, la camera “de carozieri”, la “selaria” e il “lagnaro”.
Il primo cortile consente l’accesso al piano nobile mediante due scale. La prima, posta sulla fronte nord, conduce direttamente al “salone grande” affrescato dal Gambara, oltre il quale si colloca la chiesa coperta con volta a botte. A ovest della sala di rappresentanza, passando attraverso una galleria, si aveva accesso alle stanze private organizzate in diversi ambienti disposti attorno ad una “sala grande” pressoché in forma quadrata.
Sia all’esterno come nei cortili, come dei tutti i locali interni nulla o pochissimo rimane dell’antica dimora signorile. La facciata del palazzo Avogadro presentava un rivestimento che alcune fonti imputano al Gambara; alcune pitture sono state trasportate ad inizio Novecento nella sala Giunta del Palazzo della Loggia, tra cui il soffitto ligneo con il “Carro di Apollo” e la “Lotta tra divinità marine” e dodici porzioni di affreschi.