De rivier de Vecht zette honderden jaren lang vruchtbaar slib af op zijn route naar de voormalige Zuiderzee. Tussen de moerassige veengronden ontstond zo een smalle, zeer vruchtbare maar bewerkelijke strook grond.
De vierkante woontoren die hier in de dertiende eeuw werd gebouwd stond al op een omgracht terrein met een voorburcht en boerderij. Slot Zuylen is vanouds een waterkasteel. De structuur van de grachten bleef eeuwenlang bepalend voor de opeenvolgende tuinontwerpen.
De omvang van de tuin is met 1,5 hectare bescheiden, maar binnen de grachten zijn verrassend veel elementen uit diverse stijlperioden bewaard gebleven. Naast de monumentale slangenmuur en de vele stinsenplanten in het voorjaar, vormt deze verscheidenheid misschien wel de grootste charme van de tuin.