Cmentarz został założony w 1837 roku. Wchodząc na jego teren przechodziło się przez masywną bramę. Był położony niedaleko okazałego ziemnego kopca, zwanego Jerusalemberg (niem. Góra Jerozolimska). W 1880 r. na mapie katastralnej Ełku teren cmentarza żydowskiego wraz ze wzgórzem Jerusalemberg zaznaczono jako Jüdenplatz. W 1916 r. na cmentarzu pochowano szczątki żołnierzy rosyjskich wyznania mojżeszowego, poległych w okolicach Ełku podczas I wojny światowej w latach 1914–1915. Cmentarz został częściowo zdewastowany najprawdopodobniej po dojściu do władzy przez nazistów w latach 30. XX wieku. Jeszcze w latach 60. XX w. jego teren był zarośnięty i znajdowała się tam przynajmniej jedna macewa. Później teren został zniwelowany. Obecnie teren cmentarza obejmuje częściowo pl. Jana Pawła II, którego pomnik znajduje się tuż za krawędzią dawnego cmentarza.

Na podst.: