Obecny murowany klasztor wybudowano w latach 1757-75 z fundacji Jana Jakuba Zamojskiego prawdopodobnie wg projektu Jerzego de Kawe. W 1784 r. zakon klarysek uległ kasacie, natomiast budynki klasztorne do 1787 roku użytkowali franciszkanie. W 1788 r. franciszkanie wrócili do swego klasztoru a opuszczony klasztor oddano Siostrom Miłosierdzia. Klasztor wyremontowano i przebudowano wnętrza przystosowując je do celów szpitala prowadzonego przez siostry.
W 1817 r. szpital przejęty został przez Zarząd Twierdzy. W latach 1819-21 prowadzono w nim remont, podczas którego powiększono otwory okienne oraz przebudowano wnętrza. Po przebudowie w klasztorze oprócz szpitala funkcjonowały 2 piekarnie, kuchnie, magazyn a od ok.1870 koszary oficerskie. Funkcje koszar klasztor pełnił do 1947 roku, w 1943 roku dobudowano korytarz do skrzydła południowego. Od 1947 do 1984 r. w klasztorze prowadzono Dom Dziecka. Od 1991 r. część budynku przeznaczono na cele biurowe, pozostałe są natomiast remontowane i sukcesywnie przekazywane użytkownikom typu sklep lub hurtownia. Obecnie, odremontowany, po adaptacji dawnego kościoła na salę koncertową służy Państwowej Szkole Muzycznej im. K. Szymanowskiego.
Fundamenty oraz ściany murowane, obustronnie otynkowany. Stropy płaskie, drewniane, z trzcinową podsufitką. Sklepienie kolebkowo-krzyżowe na parterze oraz kolebkowe w części parteru i piwnicach. Konstrukcja dachowa drewniana, krokwiowo-płatwiowa nad skrzydłami wschodnim i północnym, nad skrzydłem południowym z przepustnicami. Dach kryty blachą miedzianą. Okna ościeżnicowe, dwuskrzydłowe, sześciokwaterowe. Drzwi jedno- i dwuskrzydłowe, sześciokwaterowe. Klasztor założony na planie litery „U”, z prostopadłą oficyną, przyległą do skrzydła wschodniego, układ wnętrz dwutraktowy. Bryła zestawiona z trzech prostopadłościennych brył, skrzydła północne i wschodnie dwukondygnacyjne, południowe parterowe. Całość nakryta dachami dwuspadowymi. Budynek częściowo podpiwniczony, w części południowej 2 kondygnacjami piwnic. Za