Van Borssele

Aan het einde van de 14e eeuw stierf het geslacht Van Zuylen uit. Het landgoed verviel aan de schoonfamilie: de Van Borssele's, een voornaam Zeeuws geslacht. Het bekendste lid was Frank van Borssele. Samen met Jan van Beieren was hij een van de Kabeljauwse leiders tegen de Hoeken. De Hoeken streden in deze burgeroorlog tegen het gezag van de Bourgondische hertog, maar er woedde ook een machtsstrijd binnen het geslacht Van Beieren.

Het omstreden huwelijk van Frank van Borssele met zijn vroegere tegenstandster, Jacoba van Beieren, bleef kinderloos. Zijn achterneef Jaspar van Culemborg werd na Franks dood Heer van Zuylen. Van het slot was echter weinig meer over nadat de Utrechtse Hoeken het in 1422 hadden verwoest.