Oorspronkelijk stond hier een hermitage waarin bepaalde geestelijken zich kwamen afzonderen.

Veel later, aan het einde van de negentiende eeuw, is het huidige kasteel gebouwd.

Het kasteel kreeg vele namen, al naargelang zijn functie en zijn eigenaars.

Tijdens de Eerste Wereldoorlog werd het zelfs opgeëist om er een Kommandatur te huisvesten, waardoor de eigenaar nog slechts toegang had tot drie kamers van het kasteel.

Later kocht de stad Waver het en sindsdien vinden er evenementen en tentoonstellingen plaats.