Na przełomie XIX i XX wieku w Rytlu z powodzeniem działały dwie parafie: katolicka pod wezwaniem Najświętszej Maryi Panny Królowej Różańca Świętego i ewangelicka. Kościół tej ostatniej mieścił się na Zarzeczu, czyli przy obecnej ul. Dworcowej. Pozostała po nim tylko pastorówka, która obecnie znajduje się w rękach prywatnych i pełni rolę budynku mieszkalnego. Kościół w latach 60. XX wieku został rozebrany. Do tego czasu pełnił funkcję magazynu.
Parafia katolicka powstała w 1899 roku. Do 1911 msze święte odprawiane były w drewnianej kaplicy. Po oddaniu murowanej świątyni do użytku drewniana została spławiona tratwami Wielkim Kanałem Brdy do Legbąda. Rytel to specyficzna parafia, której stolica leży pomiędzy dwoma rzekami: Brdą i wspomnianym Wielkim Kanałem Brdy. Obecny kościół powstał więc w 1911 roku. Blask odzyskał dopiero dwa lata temu kiedy to zakończyła się wymiana pokrycia dachu.

Budowniczym świątyni i wieloletnim proboszczem w latach 1899-1932 był Antoni Kowalkowski. Przez parafian był postrzegany jako charyzmatyczny duchowny, wielki patriota, autor pieśni "Pan Jezus już się zbliża" oraz "Kiedyś o Jezu chodził po świecie". Ksiądz Antoni przez 12 lat zabiegał niemalże wszędzie o pozyskanie pieniędzy na budowę. Zwracał się nawet z apelem o pomoc za pośrednictwem ówczesnych gazet.

Drugim wieloletnim proboszczem był Gracjan Nagierski, który posługę niósł w latach 1974-2004. Prócz wielkiego serca dla swoich parafian był także niezastąpionym gawędziarzem, który znał niezliczoną ilość legend. Dzięki niemu przetrwała ta o powstaniu Wielkiego Kanału Brdy. I właśnie z tym duchownym, Gracjanem Nagierskim, związana jest opowieść, która dzisiaj urosła do miana legendy. Parafianie pamiętają bowiem, że w reprezentacyjnym pokoju plebanii wisiały obrazy, raczej elementy Trójcy Świętej. Zostały po śmierci księdza Gracjana zabrane do Pelplina jako obrazy sławnego pomorskiego malarza Hermana Hana.
Podobno znalezione zostały pod jedną z krokwi podczas remontu dachu plebanii. A pochodzić mają z ołtarza Trójcy Świętej kościoła w Czersku. Twarze miał wyciąć jeden z księży niemieckich uciekający przed Rosjanami w 1945 roku. Wówczas to cały dobytek został załadowany na wozy. Po drodze na zachód ksiądz zatrzymał się w Rytlu. Tutaj jeden z pomagających nosić dobytek zauważył zwinięte w rulony obrazy. Miał je wówczas wyjąć, narażając swoje życie, i ukryć pod krokwią dachu rytelskiej parafii. Któż wie jak było naprawdę...