De oudst bekende aanleg van de tuin van Slot Zuylen is afgebeeld op een gekleurde pentekening uit 1624: een kasteel met verschillende hoektorens en met de ingang nog aan de oostzijde. Op deze kaart is ook het toenmalige voorplein te zien met daarop de dienstgebouwen, de hofstede of boerderij, de moestuin en enkele boomgaarden.
In de moestuin werden voor de bewoners en omwonenden groente, fruit en medicinale kruiden gekweekt. Deze nutsfunctie is tot op de dag van vandaag behouden gebleven.
