Nekropolia została założona 2 maja 1792. Projektantem był Szymon Bogumił Zug. W 1835 zbudowano kaplicę rodziny Halpertów, która służyła całej gminie luterańskiej. Przebudowano ją w latach 60. XIX wieku.
W czasie powstania warszawskiego 1944 roku na jego terenie toczyły się ciężkie walki. Cmentarz został wówczas częściowo zniszczony.
Przy wschodnim murze znajduje się lapidarium, w którym zgromadzono płyty i nagrobki, głównie z XIX wieku, które po zniszczeniach nekropolii (w tym ksiąg cmentarnych) trudno było umieścić na pierwotnym miejscu.
Na cmentarzu spoczywa około 100 tys. zmarłych. W lipcu 2014 cmentarz, razem z pięcioma innymi nekropoliami tworzącymi zespół zabytkowych cmentarzy wyznaniowych na Powązkach, został uznany za pomnik historii.