De 16e en 17e eeuw

Rond 1525 liet graaf Willem van Rennenberg op de oude ruïne een nieuw kasteel bouwen en van een poortgebouw voorzien. Kort daarna namen de Staten van Utrecht het slot op in de officiële lijst van ridderhofsteden. Begin 17e eeuw kocht Adam van Lockhorst het kasteel als zomerverblijf. Hij wilde hiermee zijn nog jonge adellijke staat benadrukken.

Toen Van Lockhorst stierf was de enige erfgenaam pas vier jaar oud: zijn kleindochter Anna Elisabeth van Reede. Haar moeder was overleden; haar vader was hertrouwd met zijn nicht, die een zoon had uit een vorig huwelijk: Hendrik Jacob van Tuyll van Serooskerken. Men hield de bezittingen graag in de familie, dus toen Anna Elisabeth dertien was trouwde zij met haar neef en stiefbroer Hendrik Jacob. Door dit huwelijk in 1665 werd het slot eigendom van het geslacht Van Tuyll van Serooskerken, wat tot 1951 zo bleef.