Il palazzo sorge al posto di tre precedenti edifici: la casa all’angolo tra via Tosio e l’attuale via Crispi era della famiglia Filippini; seguivano l’abitazione della famiglia Tosio e quella dei Colpani. Il palazzo attuale, realizzato per volontà di Paolo Tosio, è il risultato di una lunga e graduale serie di lavori avviati nel 1810 e conclusi nel 1846. La prima fase di lavori (1810-1814) ha interessato gli ambienti di rappresentanza dell’ala nord e furono affidati a Luigi Basiletti e al fratello Antonio. Nel 1824, la direzione dei lavori passa a Rodolfo Vantini, responsabile della costruzione di una nuova ala posta a ovest e sorta sull’area precedentemente occupata da casa Colpani. L’anno seguente, Tosio acquista anche casa Filippini, permettendo al Vantini di ampliare ulteriormente l’edificio sul lato verso via Crispi.

La struttura definitiva del palazzo appare quindi impostata secondo una pianta a U sviluppata intorno al cortile interno, chiuso a sud dal un muro con terrazza che collega le ali laterali. Al piano nobile si accede attraverso lo scaloncino a due rampe costruito nel lato orientale del portico del cortile. Nell’ala nord, rivolta verso via Tosio, vi sono gli ambienti predisposti da Basiletti, mentre nell’ala occidentale è ospitata la doppia enfilade di sale che compongono il cosiddetto Appartamento novo, interamente progettato da Vantini secondo uno stile unitario e sontuoso, in pieno stile impero. L’ala orientale è invece occupata da cinque ambienti utilizzati dal conte Tosio come galleria dei dipinti antichi, riconvertiti in biblioteca dall’Ateneo, qui rimasta fino al 1959.

La facciata, realizzata secondo un progetto di Vantini del 1833, si sviluppa su tre livelli ed è suddivisa in tre parti: le due ali laterali con tre finestre e portone secondario hanno una superficie a bugnato e marcapiano con motivo a meandro, mentre il corpo centrale, con sei finestre e portone centrale nel piano terra e sette finestre nei piani superiori, è rivestito con un intonaco liscio. Le finestre del piano nobile sono trabeate e dotate di balaustra, mentre in asse con il portone sottostante si trova la porta finestra con trabeazione e timpano triangolare, e balcone aggettante. La facciata si chiude con un cornicione lineare leggermente aggettante.