4 października 1577 r, w wyniku przypadkowego zaprószenia ognia przez żołnierzy Stefana Batorego, spłonęło niemal całe miasto. Fara straciła wszystkie dachy. Sklepienia, poza kilkoma w bocznych kaplicach, na szczęście nie runęły. Powstałe szkody usunięto po ok. sześciu latach. Niepowetowaną stratą było spłonięcie wszystkich akt i przywilejów miejskich.

W 1597 r. Farę przekazano w wyłączne użytkowanie katolikom. Koniec XVII i cały wiek XVIII to okres, w którym wyposażono kościół w większość znanych nam dziś ołtarzy i sprzętów liturgicznych.

W II ćw. XVIII w. wnętrze Fary wzbogaciło się o jeszcze jeden znaczący obiekt – bogato rzeźbioną, polichromowaną, złoconą i srebrzoną ambonę. Na szczególną uwagę zasługuje zwieńczenie jej baldachimu z pięcioma postaciami skrzydlatych aniołków personifikujących rasy ludzkie. Są wśród nich: Afrykańczyk, Arab, Azjata, Europejczyk i Indianin. Dekoracja ta przypominać miała wiernym zasadę powszechności Kościoła Chrystusowego.

W 1783 r. sklepienie prezbiterium i nawy głównej wzbogacono o pięć drewnianych, płasko rzeźbionych zworników z inskrypcjami i przedstawieniami: Ducha Świętego, Baranka Bożego, krzyża z cierniową koroną oraz monogramami IHS i Maria. Otoczone promienistą glorią, mimo barokowego charakteru, dobrze harmonizują one z gotycką siatką żeber.

Wizytacje biskupie z końca XVIII wieku świadczą, że utrzymanie kościoła wraz z bogatym wyposażeniem nastręczało parafianom spore trudności. Doprowadziło to ostatecznie do czasowego zamknięcia Fary, spowodowanego jej złym stanem technicznym. Dzięki zabiegom proboszcza Henryka Mettenmeyera (1838-1871) król pruski Fryderyk Wilhelm III ufundował remont wnętrza i nowy dach, niższy od poprzedniego o około 5 m, o czym świadczy zachowany do dziś ślad na wschodniej elewacji wieży. Kaplice boczne pokryto ozdobnymi daszkami, które przesłonięto trójkątnymi, dekoracyjnymi szczytami. Obniżono także dach nad zakrystią i skarbcem, likwidując pomieszczenie jakie znajdowało się powyżej – niewielki otwarty do prezbiterium chór muzyczny, Po zakończeniu wszystkich prac, 5 grudnia 1841 roku, dokonano powtórnej konsekracji kościoła.

Kontynuatorem dzieła został nowy proboszcz ks. Robert Sawicki. Środki na dalszą odbudowę (50 000 marek) udało mu się uzyskać z dzielonej wówczas kontrybucji, jaką Francja zapłaciła Niemcom po przegranej wojnie w 1871 r. W czasie jego długoletniej posługi (1871-1925) Fara uzyskała wystrój znany obecnie.

Aż do początku XX wieku sklepienia i ściany kościoła były pozbawione jakichkolwiek polichromii (pierwotne, gotyckie nie były jeszcze wówczas odkryte). W latach 1910-1914 malarz Klink z miejscowości Bodland na Śląsku pokrył malowidłami ściany prezbiterium. Spod jego pędzla wyszły medaliony z podobiznami 4 proroków a także sklepienie nawy głównej, prezbiterium i kaplicy Matki Boskiej Różańcowej oraz podłucza filarów, w czym pomagali mu miejscowi rzemieślnicy. W odnowionym wnętrzu, przed ołtarzem głównym, ustawiono neogotyckie, dębowe stalle i balustradę komunijną.

I wojna światowa i zmiany polityczne jakie przyniosła, przerwały na pewien czas prace nad dekoracją Fary. Dopiero w 1937 r. kolejny proboszcz, ks. Aleksander Kupczyński (1925-1939), zlecił dokończenie polichromii malarzowi Władysławowi Drapiewskiemu z Pelplina.

II wojna światowa nie spowodowała większych szkód w kościele. W 1942 roku Niemcy zarekwirowali wspomniane dzwony, które przetopiono. W marcu 1945 r. wskutek wysadzenia mostów na Wiśle, zniszczeniu uległy dachy oraz prawie wszystkie witraże.

29 sierpnia 1982 r. z niewyjaśnionych przyczyn zapaliła się wieża. Wskutek pożaru uszkodzone zostały także połacie dachu nad nawą główną, stopieniu uległy dzwony, a częściowemu zniszczeniu organy. Dzięki ofiarnej postawie parafian ocalało zagrożone wyposażenie ewakuowane do kościoła pw. św. Stanisława Kostki. W ciągu kolejnych lat wieża otrzymała nowe, murowane zwieńczenie, uzupełniono całą więźbę i położono nowe dachówki. Ufundowano także elementy instrumentu organowego oraz cztery dzwony.

Fara pw. Podwyższenia Krzyża Świętego jest bez wątpienia jednym z cenniejszych zabytków gotyckiej architektury sakralnej na Pomorzu. Jej rangę podnosi bogate i dobrze zachowane wyposażenie o wysokiej wartości artystycznej i historycznej. W trakcie kolejnych koncertów warto pamiętać, że świątynia ma już prawie 800 lat i jest niepowtarzalnym dziedzictwem kulturowym.