W średniowieczu Prabuty należały do diecezji pomezańskiej. Od połowy XV wieku rezydowali tu biskupi.
Zamek był siedzibą biskupów pomezańskich do czasu sekularyzacji Prus w 1525 r. W późniejszym czasie stał się jedną z siedzib księcia Prus. Po pożarze w 1688 r. odbudowano tylko niektóre budynki gospodarcze, a skrzydła zamku przebudowano na koszary, lazaret i magazyny. Po następnym pożarze w roku 1787 odbudowano jedynie nieliczne budynki wojskowe.
Dziś tu widzimy fragmenty muru wewnętrznego oraz fundamenty budynków z XIX w. Obecnie trwają prace archeologiczne zmierzające do odsłonięcia fragmentów zabudowy zamku i zamiany ich w trwałą ruinę i taras widokowy.
Z ruin zamku rozciąga się widok na jezioro Liwieniec. Jest to rezerwat ptactwa wodnego i błotnego. Dawniej jezioro sięgało pod same mury i pełniło ważną rolę w funkcjach obronnych zamku.
Schodzimy z zamku tą samą polną ścieżką, którą weszliśmy i u jej końca skręcamy w prawo, na ul. Mazurską. Odwracając się widzimy mury zewnętrzne zamku w całej okazałości, bo wysokość ich wynosi około 10 m. Jest to idealne miejsce na pamiątkowe zdjęcie. Makieta Zamku Biskupów Pomezańskich stanęła na szczycie ruin w 2009 roku, ukazuje rekonstrukcję Zamku w wymiarach 4,5 m x 5 m, w skali 1:16 i szczegółowo odzwierciedla wygląd tej wspaniałej budowli z okresu jej świetności.