Il castello che domina la città, sorto forse su un castrum romano a difesa delle invasioni barbariche, fu ricostruito in epoca comunale e rafforzato nel XV secolo. Il castello non divenne mai una vera fortezza militare, ma continuò ad assolvere soprattutto la funzione di rifugio per la popolazione.
Nel corso dei secoli il Castello di Desenzano continuò ad essere abitato, nonostante la condizione di degrado via via più grave.
Nel 1882 diventa proprietà del Regio Demanio e viene adibito a caserma. La pianta del castello è quella di un rettangolo irregolare, con la torre che si innalza all'ingresso, sul lato nord, a protezione del ponte levatoio, di cui si conservano le feritoie per le catene.
Il recente recupero delle mura permette la visita del camminamento di ronda e la salita al mastio d’ingresso, dal quale si gode uno splendido panorama sul Lago di Garda. Lavori di restauro hanno permesso anchedi realizzare una piccola arena, destinata a concerti e rievocazioni storiche.