Quasi certamente l’edifico sorge sul terreno ove in origine si trovava la torre medievale dei Calchera, che divenne, attorno al XVI secolo, la dimora della famiglia Maggi del ramo di Pompiano (Lechi 1977, p. 34).La proprietà passò poi nei primi anni del Seicento alla famiglia Suardi, che in seguito, per volere di Fabrizio e Francesco, fece ricostruire entro la prima metà del XVIII secolo il palazzo dall’architetto luganese Antonio Turbini, incaricato successivamente dai due fratelli anche della progettazione di villa “Labirinto” a Chiesanuova.
Tenendo conto del coinvolgimento nella campagna di decorazione dell’edificio del pittore Giacomo Antonio Boni (Zanotti 1739, pp. 232-233; Frisoni 2013, p. 37), è presumibile che i lavori di edificazione della fabbrica siano stati eseguiti durante il terzo decennio del Settecento, sebbenem sia Fausto Lechi,sia Camillo Boselli protendono per una datazione più tarda, compresa tra il 1730 e il 1740 (Boselli 1974, p. 15; Lechi 1977, p. 37).
Successivamente il palazzo, che ebbe anche l’onore di ospitare il poeta Ugo Foscolo durante ilsuo secondo soggiorno bresciano, fu acquistato nel 1885 da Francesco Conter, per passare poi in eredità alla famiglia Bruni. Durante la seconda Guerra Mondiale, l’edificio venne occupato, prima dall’Istituto poligrafico dello Stato e in seguito dal Comando della Polizia Politica, riportando danni negli affreschi e nei pavimenti (Lechi 1977, p. 39).

La pianta dell’edificio è organizzata in tre corpi di fabbrica disposti attorno a un cortile porticato dietro al quale si trova anche un giardino che, grazie al cannocchiale prospettico predisposto da Turbini, è visibile, attraverso atrio e cancellate, dall’entrata del palazzo su via Trieste. Affacciato su questa via, il prospetto principale dell’edificiofa emergere, specialmente nel portale e nel frontone curvilineo, il caratteristico disegno dell’architetto luganese, benché organizzato in maniera sobria e con pochi elementi.
Fa parte del palazzo, anche un piccolo giardino posto al di là della strada,ricavato da una porzione degli orti della famiglia Duranti (Lechi 1977, p. 37), che ospita al suo interno una statua di Nettuno scolpita da Alessandro Calegari (Fusari, in Sava 2012, p. 269, cat. 112).

Dal grande scalone a due rampe, dipinto da  Giacomo Antonio Boni con un medaglione raffigurante la Verità svelata dal Tempo, si giunge nella galleria che, entro una quadratura di Giuseppe Orsoni, ospitala scena mitologica di Selene ed Endimione, sempre opera del pittore bolognese. I medesimi artisti lavorarono ancheall’affresco conAurora che rapisce Cefalo, visibile nel solaio che conserva la decorazione superstite di quello che era un tempo il grande salone da ballo, e al soffitto con il Trionfo di Apollo presente nell’adiacente salone d’onore.Ascrivibili ai due artisti bolognesi, sono anche le ultime due sale a sera del corpo di fabbrica principale del palazzo.A un artista diverso, invece, sono da attribuire le due piccole sale poste nel corpo di fabbrica a mattina del palazzo decorate, nei primi anni dell’Ottocento, con le raffigurazioni mitologiche diPsiche che scopre Amore ed Enea, Anchise e Acanio.La sala posta verso il cortile interno nell’ala est dell’edificio venne affrescata in una terza fase, forse da uno dei pittori coinvolti nella decorazione dell’appartamento vantiniano di palazzo Guanieri.

Edoardo Lo Cicero