Edificato ai tempi delle incursioni barbariche (sec. VII° - IX°) su un precedente "castrum" romano (da qui infatti deriva il nome della città: Castiglione da "castrum" e Stiviere dal latino "ab estivis", ovvero accampamento nei mesi estivi), raggiunse il suo massimo splendore al tempo della Signoria della famiglia dei Gonzaga quando il duca Ferrante Gonzaga, padre di S. Luigi, ne fissò la dimora di famiglia facendolo divenire sede della sua corte.

In questo periodo il Castello venne ampliato (venne aggiunto anche il palazzo della Zecca in quanto la città nel 1567 ottenne il privilegio di battere moneta) e venne abbellito, trasformando le grandi stanze del castello in eleganti appartamenti residenziali. In seguito alla guerra di successione spagnola, nel 1706 venne distrutto dai francesi in ritirata; i ruderi dello stesso, vennero successivamente reimpiegati nella costruzione del nuovo Duomo.

Oltrepassata la torre d'ingresso, nella modesta corte, si può notare sul lato sinistro la piccola chiesa di San Sebastiano; essa, che rappresentò ai tempi della signoria la cappella di corte del Palazzo, venne eretta nel 1577 da Ferrante Gonzaga, come ringraziamento a S. Sebastiano per lo scampato pericolo della peste dell'anno prima, che molte vittime procurò in Lombardia ma che invece aveva risparmiato la città di Castiglione.