De geschiedenis van Slot Zuylen begint rond het jaar 1250. Toen bouwde Steven van Zuylen langs de Vecht een donjon, een vierkante woontoren met muren van 2.70 meter dik. De fundamenten werden opgegraven bij een restauratie en zijn nu nog opgemetseld zichtbaar in het terras.
Begin 15e eeuw was de toren eigendom van Frank van Borssele (de vierde echtgenoot van Jacoba van Beijeren). Tijdens de Hoekse en Kabeljauwse twisten werd de donjon verwoest door de Utrechters. Zij wilden meer vrijheid voor hun stad, terwijl Van Borssele aanhanger was van het centrale gezag van de Bourgondische hertogen. Na de verwoesting restte er een eeuw lang niet meer dan een ruïne.