Początkowo funkcjonował tutaj szpital i kaplica Św. Jerzego. W roku 1467 zakon Karmelitów otrzymałw ramach rekompensaty teren leprozorium Św. Jerzego, a wkrótce potem rozpoczęła się budowa kościoła. Budowa rozpoczęła się od okazałego portalu, jednak brak funduszy sprawił, że pierwotnych planów budowy nie zrealizowano i dzisiaj brama znajduje się w pewnym oddaleniu od głównego budynku. Nie udało się również wybudować zaplanowanych trzech naw, do 1623 r. powstała tylko jedna nawa, prezbiterium i kaplica. W 1663 r. kościół spłonął, po pożarze odbudowano go i zmieniono wystrój na barokowy. W 1840 r., po wysiedleniu zakonników powołano parafię.
27 marca 1945 r. żołnierze Armii Czerwonej wtoczyli do kościoła i podpalili beczki z płynem zapalającym. Wraz z kościołem spłonęło ponad 100 osób szukających w nim schronienia. W tym dniu doszło do zagłady kościoła Świętego Józefa, który w przejmujący sposób zrelacjonował ówczesny wikary (na miejsce Binnebesela) ks. Georg Klein:
„Kościół, plebania i kwartał domów wokół kościoła były całkiem nieuszkodzone, z wyjątkiem UFA-Palast (nowe kino przy kościele Św. Elżbiety), który spłonął 23 marca. W sobotę 24 marca o 8 rano zaczęło się w kościele nabożeństwo żałobne, gdy wkrótce potem granat uderzył w dach kościoła, dokładnie nad głównym ołtarzem i tynk, kamienie i gruz spadły na ołtarz, że nabożeństwo trzeba było przerwać. To była jedyna szkoda, jakiej budynek doznał od działań wojennych.
Kobiety, dzieci i starcy schronili się ze strachu na plebani i w kościele. Tam wraz z ludźmi z okolicy spędziliśmy noc w poniedziałek 26 marca. Nad ranem zrobiło się przejmująco cicho. Żadnego strzału, szczęku pojazdów, żadnych głosów. Weszliśmy ostrożnie na piwniczne schody, gdy usłyszeliśmy ciężkie kroki wchodzącego do domu. Pierwszy żołnierz sowiecki stał przed nami gotowy do strzału, potem przyszedł drugi i zabrał nasze zegarki. Pozwolono nam wyjść i zobaczyliśmy sowieckie pojazdy i wielu żołnierzy, ale widzieliśmy też, że wszystko stało nienaruszone. Żołnierze zaczęli biegać po plebani i kościele i zaraz się pojawili z łupami, robili miejsce dla innych. Byliśmy jak sparaliżowani i wycofaliśmy się do na pół spustoszonego pokoju. Jeden żołnierz szedł za nami, grożąc gestami wyrzucił nas z domu i zmusił 18-letnią dziewczynę by została. Po jakiejś chwili pojawiła się na dworze, wzburzona, potargana i milcząca. Stało się. Pojawiły się inne grupy, już pod wpływem alkoholu. Podobno znaleźli zapasy alkoholu w piwnicy pobliskiego Ratusza Staromiejskiego. Popędzili nas wrzaskiem, śmiechem i szturchaniem z powrotem na plebanię oraz do kościoła. Każdemu, kto chciał wyjść grozili pepeszami. Przyjechał samochód wyładowany bańkami. Jedną z nich wciągnęli do kościoła, drugą do plebani. Dało się zauważyć zapach benzyny i odtąd wiedzieliśmy, co nas czeka. Jakaś kobieta, która była w kościele wypadła i została natychmiast zastrzelona. Pijany żołnierz wszedł do kościoła. Widzieliśmy z plebani, jak w świątyni buchnęły płomienie i słyszeliśmy krzyki i płacz znajdujących się wewnątrz ludzi. Żołnierz wyszedł i zamknął za sobą drzwi.
Tymczasem proboszcz Fedtke dojrzał z nie obserwowanego okna z tyłu plebani jakiegoś, jak się wydawało jeszcze trzeźwego oficera i zwrócił gestami jego uwagę na to, co się działo na dziedzińcu kościoła. Gdy teraz jeden z żołnierzy chciał wejść do plebani, zapewne żeby i tu podłożyć ogień, oficer pojawił się na dziedzińcu, przepędził żołnierzy i wyrzucił nas na dwór. Ludzie w płonącym kościele już z niego nie wyszli”.
Autor powyższej relacji, ks. Klein, musiał później, podobnie jak większość niemieckich Gdańszczan, opuścić rodzinne miasto. Przez pewien czas działał w Berlinie. Zmarł w 1994 r. Samowola pijanych żołdaków obróciła w niwecz wspaniałe dziedzictwo wielowiekowej historii. Zabytek, choć zrujnowany, przedstawiał jednak tak wielką wartość, że już w latach 1946/47 przewidziano jego odbudowę. W 1948 r. kościół i klasztor przejęli Misjonarze Oblaci Maryi Niepokalanej.
W jubileuszowym roku 2000, z inicjatywy ojca superiora domu i rektora kościoła Bernarda Briksa, 27 marca tegoż roku J. Eks. Ks. Bp Zygmunt Pawłowicz wraz z oblackim misyjnym biskupem Polakiem J. Eks. Ks. Bpem Eugeniuszem Juretschko omi poświęcili Epitafium – pomnik ofiar, mieszkańców Gdańska, spalonych wraz z kościołem 27 marca 1945 r. w liczbie ponad stu osób przez żołnierzy Armii Czerwonej.
fot. M. Bieliński – DTP UMWP