W 1896 roku rozpoczęto budowę ochronki dla prawosławnych dzieci. Tuż przy niej zbudowano dużą kaplicę. 16 października 1898 roku dokonano poświęcenia cerkwi pw. św. Olgi.

Projekt wykonany przez architekta miejskiego Franciszka Chełmińskiego.

Cerkiew ta jest budynkiem jednonawowym, zbudowanym na planie prostokąta z prezbiterium. Elewacje podzielone zostały lizenami. Na osi świątyni znajduje się nakryta hełmem wieża, w której znajduje się wejście główne. Cebulasty hełm to jedyny element budynku mający związek z architekturą rosyjsko-bizantyjską. Do 1954 roku cerkiew stanowiła część sierocińca, przez który wchodziło się do świątyni. Ikona z wizerunkiem św. Olgi, księżnej kijowskiej, wisi po lewej stronie ołtarza.

Świątynia znajduje się w odległości kilkuset metrów od cerkwi katedralnej pw. św. Aleksandra Newskiego.