W latach 1647-1651 wybudowano 9 eremitoriów, a w 1733 roku powstał ostatni z istniejących 13 domków pustelniczych. 

Eremitoria czyli domki z ogródkiem od frontu, ogrodzonym murem, z których każdy przeznaczony był dla jednego zakonnika, budowano wg ścisłych reguł zakonnych. Zgodnie z przepisami domek pustelnika składał się z sieni na osi, kaplicy po prawej, celi i drewutni po lewej. W warszawskim klasztorze eremitoria mimo jednolitego planu różnią się bryłą. Część domków ma dachy dwuspadowe, a część czterospadowe. Różnicuje je również detal rzeźbionych w kamieniu portali i szczytów. Umieszczone w nich inskrypcje i herby zdradzają czas powstania i osoby możnych fundatorów poszczególnych domostw. Pierwszy domek w narożniku pn.-wsch., zamieszkiwany obecnie przez proboszcza, nazywany królewskim ma szczyt zdobiony herbem Władysława IV. Prywatni użytkownicy domków zaburzyli historyczny układ eremitoriów współczesnymi przybudówkami.