Po zburzeniu przez Rosjan podomikańskiego kościoła parafialnego, powstała potrzeba budowy nowego kościoła katolickiego. Nowy kościół zbudowano w latach 1849-1856 w stylu klasycystycznym dzięki staraniom proboszcza ks. Wincentego Dziemianowicza. Budowę sfinansowano ze składek parafian. Kościół zbudowano na planie prostokąta – fasadę dzięki pilastrom rozdzielono na trzy części, jej uwieńczeniem jest ściana attykowa flankowana przez dwie czworoboczne wieże. Wejście świątyni zdobi fronton w formie trójkąta. Kościół ten wpisuje się w grupę podobnych dwuwieżowych kościołów zbudowanych w tym czasie w Kobryniu i Suwałkach. Uroczystej konsekracji świątyni dokonał w 1856 biskup wileński Wacław Żyliński. W 1899 roku zbudowano wokół cmentarza kamienne ogrodzenie. W prawym ołtarzu bocznym umieszczono pochodzący z kościoła Dominikanów uznawany za cudowny obraz Matki Boskiej Brzeskiej ofiarowany przez Świętosławę z Dunin-Rajeckich Prażmowską. Według tradycji obraz należał do jej poprzedniego męża Mikołaja Potockiego, który odzyskał obraz po zrabowaniu go podczas najazdu Tatarów z miejscowości Szarawka.

Po 1937 roku planowano rozbudowę kościoła w stylu modernistycznym wg projektu Józefa Barańskiego, jednak do realizacji nie przystąpiono.

W dniu 15 stycznia 1948 władze radzieckie kościół zamknęły. Wyposażenie, w tym 36 obrazów, 14 chorągwi, 10 kielichów, 3 monstrancje, 40 ornatów, 10 komży, władze radzieckie zabrały z budynku i złożyły w teatrze. Udało się ukryć cudowny obraz Matki Boskiej dzięki ofiarności parafianina Andrzeja Czerniaka, który zamurował go w stajni. W latach 1950-1957 dokonano przebudowy kościoła na muzeum krajoznawcze - zburzono wieże, wnętrze podzielono na dwie kondygnacji, przebito nowe okna. W 1990 władze miejskie zdecydowały o zwrocie świątyni katolikom. W 1991 roku przygotowano projekt odbudowy. W dniu 29 sierpnia 1992 roku kościół ponownie konsekrował arcybiskup Kazimierz Świątek i wtedy też cudowny obraz Matki Boskiej wrócił do świątyni. Ołtarz główny zrekonstruowano w latach 2008-2012.

We wnętrzu kościoła, w prawej nawie, umieszczony jest słynny cudowny barokowy obraz Matki Boskiej Brzeskiej z XVIII wieku w sukience wykonanej w Gdańsku w 1680 roku z pozłacanego srebra. Na sukience umieszczono herb Dunin należący do Świętosławy Dunin z Rajeckich Prażmowskiej Chorążyny Koronnej Nadwornej Staościny Łomżyńskiej. Obraz jest wzorowany na rycinie Antoniego i Hieronima Wierixów z Antwerpii z XVI wieku wg rysunku Martena de Vosa. Według niektórych relacji obraz ten został podarowany w Rzymie kasztelanowi brzeskiemu Adamowi Pociejowi przez papieża Klemensa VIII. Pierwotnie obraz był darem Świętosławy Prażmowskiej i umieszczony w kościele Dominikanów pw. św. Zofii, a po jego zburzeniu przeniesiono go w XIX wieku do obecnej świątyni. W czasach Białoruskiej SRR wierni ukryli Matkę Boską Brzeską przed władzami, wróciła ona na swoje miejsce po odzyskaniu przez Białoruś niepodległości, a w 1996 dokonano koronacji obrazu koroną papieską.

Na murach zewnętrznych kościoła znajdują się epitafia rodziny Jankowskich, która zginęła w wyniku działań wojennych w latach 1915–1920. W środku świątyni umieszczono w 1993 tablicę pamiątkową na cześć obrońców twierdzy brzeskiej z jesieni 1939.