Nel corso dei secoli l'isola del Garda, attualmente proprietà della famiglia Cavazza, ebbe vari nomi legati quasi sempre ai diversi proprietari: insula Cranie, isola dei Frati, isola Lechi, isola Scotti, isola de Ferrari e più tardi isola Borghese.
Le 130 lapidi Gallico-Romane ivi trovate e donate al museo Romano di Brescia da parte del conte Luigi Lechi comprovano che l’Isola fu abitata già al tempo dei romani. Abbandonata a se stessa nei secoli di decadenza dell'Impero Romano, venne adibita a riserva di caccia fino all' 879. La prima menzione storica si trova in un decreto di Carlomanno dell' 879 che documenta la donazione dell'isola ai frati di San Zeno di Verona. Verso il 1220 Francesco d'Assisi visitò molti luoghi dell'Italia settentrionale compreso il lago di Garda, anticamente denominato Benaco.
Così lontana dal mondo l'isola parve a S. Francesco luogo ideale per i suoi frati; Biemino da Manerba, attratto dal carisma del santo, gli donò partedell'Isola. San Francesco vi istituì un semplice romitorio nella parte scogliosa a nord. I frati non abbandonarono mai questo luogo solitario nonostante le continue incursioni di soldatesche Bresciane, Veronesi e Mantovane . Nel 1429 con l'arrivo di S. Bernardino da Siena, il vecchio monastero venne rinnovato ed ampliato; l'isola divenne un importante centroecclesiastico di meditazione che ospitò illustri personaggi religiosi, come padre Francesco Licheto della nobile famiglia Lechi di Brescia, il quale a partire dal 1470 vi istituì una scuola di teologia e filosofia. La morte di Padre Francesco Licheto segna l’inizio di un periodo di decadenza per la comunità religiosa dell'isola. Dal 1685 al 1697 fu convento di noviziato dove i frati facevano ritiro.
Nel 1797 l'ormai vetusto monastero venne soppresso definitivamente da Napoleone che con la Repubblica Cisalpina acquisì il diritto di proprietà sull'isola. In seguito divenne proprietà del demanio e negli anni successivi ebbe diversi proprietari: Gian Battista Conter (1800), i fratelli Benedetti di Portese (1803),Giovanni Fiorentini di Milano (1806) ed il Conte Luigi Lechi di Brescia (1817). Luigi Lechi ordinò importanti opere di restauro e costruzione per poi cederla vent'anni dopo al fratello Teodoro, ex generale dell'esercito di Napoleone che apportò ulteriori modifiche con l'aggiunta delle terrazze di fronte alla villa.
Nel 1860 fu espropriata dallo Stato e assegnata all'esercito. L'idea di costruirvi una fortezza venne però abbandonata e se ne decise la vendita all'asta; la proprietà venne aggiudicata al Barone Scotti che la rivendette al Duca Gaetano de Ferrari di Genova e a sua moglie, l'Arciduchessa russa Maria Annenkoff. Tra il 1880 e il 1900 i nuovi proprietari si dedicarono alla progettazione e alla realizzazione del parco, costruendo muri di contenimento verso il lago e importando terra fertile e piante esotiche. Il palazzo fu arricchito da terrazze sistemate a giardino all'italiana con elaborati disegni di siepi e cespugli fioriti. Prima della morte del Duca nel 1893, i due concepirono insieme il progetto di un palazzo da costruire al posto della vecchia villa Lechi. La villa in stile neogotico-veneziano venne costruita tra il 1890 e il 1903, su progetto dell'architetto Luigi Rovelli.
L'edificio estremamente complesso ha una sua unità stilistica e una rara imponenza. Le facciate sono decorate da finestre ad arco acute e nell'angolo sud ovest si erge una torre coronata da merlature a ricamo in pietra con decorazioni floreali in stile neogotico. Dopo la morte dell'Arciduchessa, l'isola passò in eredità alla figlia Anna Maria, sposa del Principe Scipione Borghese di Roma. Anna Maria amò molto l'isola e ne fece la propria dimora sino alla fine della sua vita, curandone il parco e i ricordi di famiglia.
Nel 1927, alla morte del Principe l’Isola passò in eredità alla figlia Livia, sposata con il Conte Alessandro Cavazza di Bologna mantenendola in ottimo stato per lasciarla in eredità al figlio Camillo che la lasciò a sua volta alla moglie Charlotte ed ai sette figli. Questi oggi continuano ad occuparsi con passione del parco e del palazzo che abitano.