Il Collegio è il risultato di una stratificazione di interventi, attuati in varie fasi, che hanno via via integrato e modificato singole parti o addirittura l'insieme. Il nucleo originale del Collegio risale alla prima metà del '500, ma il grandioso ampliamento e la sistemazione del palazzo avvennero nella prima metà del '600, con molta probabilità curati dallo stesso architetto Luca Bienni da Salò che in quegli anni aveva appena ultimato la Basilica e il Collegio dei Gesuiti.

La documentazione relativa è scarna ma i segni degli interventi sono leggibili nel vivo della struttura. E' cosi che sono ravvisabili nell'insieme diverse architetture ben integrate fra loro ma di differenti periodi storici: l'elegante loggiato, aggettante sul vasto cortile interno, risalente alla prima meta del '500 costituisce la parte più antica del complesso; la caratteristica corte rustica, un tempo utilizzata come locali di servizio e pertanto destinata alla servitù, dalle eleganti inferriate seicentesche di gusto spagnolo che impreziosiscono i balconi; il prestigioso refettorio realizzato nel corso del '700 e impreziosito da un ricercato arredo ligneo in noce, rovere, ulivo e larice che conferiscono un vivace effetto cromatico.

Particolare menzione meritano due grandi tele, attribuite alla bottega del Pourbus, raffiguanti Francesco Gonzaga e la moglie Bibiana di Pernstein con i loro figli, poste sopra la porta d'ingresso del refettorio.