W wyniku tego starosta książęcy Słupska Klaus Wejher przeniósł swą siedzibę w bardziej bezpieczne miejsce, nad południowo-zachodni brzeg jeziora Sarbsko. Obiekt pozostał w posiadaniu rodziny Wejherów aż do 1781 roku, kiedy posiadłość przejął Konrad Henryk von Somnitz z Charbrowa. Liczne przebudowy zamku zmieniły jego wygląd i funkcję na pałacową. O obronnych założeniach obiektu świadczą ślady umocnień w postaci fosy i wałów. Obecnie składa się on z kompleksu budynków o nieregularnym układzie, zbliżonym do rzutu podkowy. Dominantą obiektu jest czworoboczna, sześciokondygnacyjna wieża wzniesiona w narożu północnym. Malowniczości pałacowi dodaje otaczający go starodrzew. W parku znajduje się kaplica grobowa z połowy XIX wieku. W zabudowaniach gospodarczych dawnego folwarku działa ośrodek jazdy konnej.