Siedzibą muzeum jest najstarsze skrzydło zamku zwane Domem Zakonnym oraz dwie przylegające do niego Baszty: Młyńską i Prochową jak również kurtynowy mur obronny.
Działy muzeum
Muzeum powstało w 1972 r., zajmuje całe północne skrzydło budowli oraz dwie przylegające do niego baszty. Obejmuje działy:
- Dział etnograficzny muzeum eksponuje kolekcję zabytków kultury materialnej Kaszubów Bytowskich.
- Dział artystyczno-historyczny gromadzi zabytki, pamiątki i dokumenty związane z historią ziemi bytowskiej.
- Na parterze Domu Zakonnego znajduje się stała wystawa etnograficzna poświęcona kulturze materialnej Kaszubów Bytowskich.
- Na I piętrze w kilku salach prezentowane są stałe ekspozycje artystyczno-historyczne nawiązujące do dwóch najważniejszych okresów w historii zamku; okresu krzyżackiego (XV w.) oraz czasom, kiedy budowla była we władaniu Gryfitów, książąt zachodniopomorskich (XVI – XVII w.).
- Drugie piętro przeznaczone jest na wystawy czasowe. W jednej z sal na wyższym poziomie II piętra urządzona jest stała ekspozycja etnograficzna pt. „Współczesna sztuka ludowa Kaszub”, prezentująca najbardziej reprezentatywne dokonania artystyczne z całego regionu Kaszub w dziedzinie współczesnej sztuki ludowej.
W Baszcie Młyńskiej można zapoznać się z historią miasta i podziwiać model średniowiecznej zabudowy Bytowa. Z baszty można wejść na jedyny odsłonięty mur kurtynowy.
Oddziały Muzeum Zachodniopomorskie
W centrum miasta na Placu Garncarskim znajduje się wieża po dawnym kościele św. Katarzyny. Jest to pozostałość po pierwszej świątyni Bytowa z okresu średniowiecza, jest to Gotycka Wieża św. Katarzyny. Prezentowane są tu ekspozycje stałe o charakterze archeologiczno-historycznym. Poza ekspozycjami wypełniającymi cztery kondygnacje gotyckiej budowli na uwagę zasługuje archeologiczna odkrywka zabezpieczona na obszarze korpusu nawowego dawnej bytowskiej fary. Prześledzić tu możemy kolejne etapy rozbudowy świątyni, która pierwotnie była budowlą dwunawową.
Oddziały poza miastem
- W miejscowości Płotowo, oddalonej 12 km od Bytowa znajduje się Muzeum Szkoły Polskiej. W dawnym budynku szkolnym z lat 20. XX w. urządzona jest ekspozycja historyczna prezentująca działalność Związku Polaków w Niemczech, a także zrekonstruowana dawna izba szkolna.
- Około 400 metrów dalej w tej samej miejscowości znajduje się Zagroda rodziny Styp-Rekowskich – znanych działaczy społecznych i patriotycznych Związku Polaków w Niemczech. W przestrzeni zagrody znajduje się zrewitalizowany budynek gospodarczy, przeznaczony na działania muzealne, edukacyjne i animacyjne.