Le mura, costruite per proteggere il primo Libero Comune d'Italia (983), risalgono all'alto medioevo e proteggevano il castello le cui origini sono legato alla storia di Roma che aveva battezzato il borgo come Lacisium.
Il Castello, venne ricostruito, probabilmente, su fondamenta romane nel medioevo intorno al XI secolo quando il territorio era governato dalla Repubblica Veneta ed utilizzato come residenza dei magistrati veneti.
Nel 1193 il castello e l'abitato passarono sotto il governo del libero Comune di Verona e quindi, qualche anno più tardi, sotto la Signoria degli Scaligeri, nel 1329 ristrutturarono le mura del borgo, intervallandole da una ventina di torri scudate, mentre la ricostruzione della rocca venne iniziata nel 1375 e ultimata nel 1381; Lazise divenne così un caposaldo dello scacchiere fortificato occidentale veronese. Nei secoli il castello fu ampliato, distrutto e restaurato roccaforte degli Scaligeri, dei Visconti, dei Veneziani, dei Lanzichenecchi, dei Francesi e degli Austriaci.
Semidistrutto ed utilizzato come cava di materiale edile, il castello venne salvato dal Conte Burri che, acquistatolo, lo restaurò trasformando il porticciolo dell'antico castello, che si era trasformato in palude, nel giardino del castello. Quanto rimane dell'antico Castello Scaligero è compreso nel recinto della villa Buri, ora Bernini, non è visitabile perchè tuttora abitato.
Il Castello scaligero ha la classica pianta quadrata, con cinque torri ed il mastio. Particolarmente imponente il mastio del castello in mattoni di cotto. Alla base del mastio, all'interno della piazza d'armi, si ergevano un tempo la residenza del castellano e le caserme della milizia, a ridosso della cinta muraria.