Wieś Żarnowiec została przekazana Cystersom oliwskim z nadania książęcego około 1215 r., zaś zatwierdzenie fundacji klasztoru i jego dóbr nastąpiło w 1279 r. W 1589 roku następuje kasata cystersek, w miejsce których sprowadzono benedyktynki z Chełmna.
W roku 1834 następuje kolejna kasata klasztoru, folwark przechodzi w wolne posiadanie. W latach 1841-1878 właścicielem jest Ludwig Zelewski, który rozpoczyna budowę dworu klasycznego. W latach 1878-1906 jest to własność Bartelsa z Rugi, następuje wówczas rozbudowa dworu w stylu eklektycznym.
Kolejne lata to okres od 1906 do 1924, kiedy to Rudolf Stenzel przebudowuje dwór, by w latach 1929-1939 stać się własnością Mazarskiego. Od 1939 do 1945 r. ma w nim siedzibę niemiecki zarząd wojskowy, po wojnie przyłączono folwark do Ośrodka Kultury Rolnej. Z rolnictwem zresztą związany jest do dziś ongiś jako Ośrodek Hodowli Zwierząt Zarodowych w Prusewie obecnie pod szyldem Funduszu Areał.
Dwór o założeniu nieregularnym, 2-kondygnacyjnym, częściowo podpiwniczony, dach 2- spadowy, fundament ceglano-kamienny, ściany z cegły, stropy drewniane, obok spichlerz klasztorny, również zabytek.
Obecnie dworek oferuje 6 pokoi, z ogrodu roztacza się piękny widok na zachodnią stronę.