Zámek, který je srdcem Oaks, byl postaven začátkem 19. století jako lovecký zámeček pro rodinu von Schüttelsberg. Jedná se o kulturní památku a v současnosti prochází citlivou rekonstrukcí pod vedením londýnského architekta Johna Pawsona, který v roce 2014 dokončil oceňovanou revitalizaci kláštera Nový Dvůr na Karlovarsku.

Hospodářské budovy na nádvoří před zámkem se přestavují s ohledem na umístění a rozměry někdejších budov.