W przeszłości nazywane "Górą Karola" (Carlsberg), pod którą to nazwą rozumiano nie tylko stumetrowe wzniesienie, ale cały ciąg wzniesień w bezpośredniej bliskości klasztoru.
Tytułowym Karolem był przedostatni opat oliwski, Carl von Hohenzollern-Hechingen, na polecenie którego zbudowano w końcu XVIII w. pawilon widokowy w najwyższym punkcie łańcucha wzgórz i uporządkowano teren, czyniąc z niego półnaturalny park.
Publicznie dostępny cieszył się park dużym zainteresowaniem, szczególnie ze względu na wspaniały widok na okolicę i morze, który roztaczał się z pawilonu widokowego, który w końcu XIX wieku zastąpiła murowana wieża o neogotyckich kształtach.
Wieżę wysadzili żołnierze niemieccy w 1945 r. obawiając się by nie stała się ona dogodnym punktem obserwacyjnym dla zbliżających się do Gdańska wojsk radzieckich.
Po II wojnie światowej park zdziczał, jednak w 20 lat po wysadzeniu starej wieży wzniesiono na Pachołku nową, tym razem stalową, która istnieje do dziś. Po staremu roztacza się z niej wspaniały widok na całą okolicę, a przy dobrej pogodzie na Zatokę Gdańską, aż po Hel.
