Baszta Czarownic założona jest na rzucie półkola wysuniętego poza linię muru zewnętrznego. Od strony miasta prostokątna część baszty wystaje również poza lico muru, od tej strony dawniej była ona otwarta, obecnie całkowicie przeszklona.
Dolna kondygnacja baszty była sklepiona, a trzy górne miały drewniane stropy. Baszta Czarownic obecnie przykryta jest zrekonstruowanym hełmem stożkowym, odciętym od strony starówki. W elewacji wschodniej znajduje się kilka prostokątnych wąskich otworów umieszczonych w trzech kondygnacjach.
W XVII w. basztę tą przebudowano na cele więzienne i przetrzymywano tu kobiety posądzone o czary – stąd wywodzi się jej nazwa. Według dostępnych Źródeł archiwalnych stracono tu 18 kobiet. Pierwszy proces o czary odbył się w 1651 roku a jego ofiarami były dwórki księżnej Anny de Croy – Scholastyka i Runga. Ostatnią ofiarą świętej Inkwizycji była służąca z Rowów – Anna Kosbad. Została uśmiercona w 1714 roku. Do literatury i legend o Słupsku weszła postać Triny Papisten (Kathrin Zimmermann), która zginęła na stosie w roku 1701.
W XIX wieku basztę przerobiono na magazyn, a na początku XX wieku było to mieszkanie. W marcu 1945 roku budynek został częściowo spalony przez wojsko rosyjskie. Basztę Czarownic odbudowano i przeznaczono na galerię sztuki w roku 1975. Obiekt ten należy do najstarszych zabytków architektonicznych miasta Słupska.
Galeria „Baszta Czarownic” powstała w 1976 roku. Była pierwszą galerią nowo powstałego Biura Wystaw Artystycznych w Bałtyckiej Galerii Sztuki Współczesnej (obecnie posiada ono 3 galerie – ). Galeria ma trzy poziomy. Powierzchnia wystawiennicza wynosi 86m2. W galerii organizowane są wystawy malarstwa, fotografii, małych form rzeźbiarskich, grafiki, rysunku i instalacji przestrzennych.