Zamek wybudowany w latach 1395 -1403 na planie nieregularnego trapezu z wieżą. Wielokrotnie przebudowywany i dostosowany do potrzeb siedziby starosty. Rozebrany na początku XIX wieku.
Początki zamku
Stanowiska obronne zlokalizowane były wśród bezludnych, leśnych puszczy zwanych „domami z dziczy”, gdzie ukształtowanie terenu zapewniało obronę. Pod koniec XIV wieku Zakon Krzyżacki przystąpił do budowy zamku, którego budowę nadzorował osobiście Konrad von Jungingen. Warownię wzniesiono na planie nieregularnego trapezu. W południowym narożniku znajdowała się wieża, zaś we wschodnim była usytuowana brama wjazdowa.
W okolicach miejscowości Czarne i położonego nieopodal Człuchowie toczyły się na przestrzeni lat liczne walki. Zamek w Czarnem był pod panowaniem zakonu do połowy XV wieku, kiedy to nastąpiło oblężenie przez wojsko gdańskie zamku w Człuchowie, a kapitulacja zamku w Czarnem nastąpiła jeszcze przed poddaniem się człuchowskiej warowni. Od tego momentu Krzyżacy próbowali odzyskać utraconą warownie udając się nawet do podstępów i krętactwa.
Po burzliwych dziejach średniowiecza miasto wróciło na terytorium Polski po podpisaniu traktatu pokojowego w Toruniu w 1466 roku. Wieloletnie niszczony i nękany najazdami podczas licznych wojen, zamek w Czarnem stał się ruiną. Na jego terenie wybudowano drewniane domy dla mieszczan, a ze średniowiecznych obwarowań przetrwała tylko fosa, fragment murów obronnych i baszty. Dopiero, kiedy w XIX wieku obiekt znalazł się we władaniu radcy Georga von Livoniusa przeszedł swoiste odrodzenie. Nowy właściciel przystąpił do odbudowy pałacu, w którego murach obecnie mieści się Dom Pomocy Społecznej.