Obóz Gross-Rosen powstał w sierpniu 1940 roku jako filia KL Sachsenhausen, której więźniowie przeznaczeni byli do pracy w miejscowym kamieniołomie granitu. Pierwszy transport przybył tam 2 sierpnia 1940 roku.1 maja 1941 roku Arbeitslager Gross-Rosen uzyskał status samodzielnego obozu koncentracyjnego. W pierwszych dwóch latach istnienia KL Gross-Rosen był małym obozem nastawionym w dalszym ciągu na obsługę kamieniołomu. Mordercza 12-godzinna praca w kamieniołomie, głodowe racje żywnościowe, brak należytej opieki lekarskiej, nieustanne maltretowanie i terroryzowanie więźniów zarówno przez załogę SS, jak i więźniów funkcyjnych powodowały duża śmiertelność, a KL Gross-Rosen był postrzegany jako jeden z najcięższych obozów koncentracyjnych.
Zasadnicza rozbudowa obozu Gross-Rosen przypada na rok 1944, zmienia się również jego charakter; obok centrali w Gross-Rosen powstają liczne filie (około 100) zlokalizowane przede wszystkim na terenie Dolnego Śląska, Sudetów i Ziemi Lubuskiej.
Do największych należały obozy: AL Fünfteichen w Jelczu, 4 obozy we Wrocławiu (Breslau), Dyhernfurth w Brzegu Dolnym, Landeshut w Kamiennej Górze oraz w zespół obozów Riese zlokalizowanych w Górach Sowich.
Ogółem przez Gross-Rosen – obóz macierzysty i jego filie – przeszło około 125 000 więźniów, w tym również więźniowie nie rejestrowani, przywożenia do obozu na egzekucję, np. 2 500 radzieckich jeńców wojennych.
Do najliczniejszych grup narodowościowych w obozie należeli Żydzi (obywatele różnych państw europejskich), Polacy oraz obywatele byłego Związku Radzieckiego.
Szacunkowa liczba ofiar obozu Gross-Rosen wynosi około 40 000.
Jednym z najtragiczniejszych okresów w dziejach tego obozu była jego ewakuacja. Podczas transportów (nawet kilkutygodniowych) zginęło wiele tysięcy więźniów.
Od jesieni 1943 roku do lutego 1945 roku działał na terenie KL Gross-Rosen wychowawczy obóz pracy wrocławskiego gestapo (AEL), przez który przeszło 4 200 więźniów.

11 września 1947 roku powstał Komitet Ochrony Gross-Rosen, który ogłosił konkurs na projekt mauzoleum upamiętniającego ofiary KL Gross-Rosen i rozpoczął zbierać fundusze na jego budowę. 2 listopada 1947 roku odbyła się uroczystość wmurowania kamienia węgielnego pod pomnik-mauzoleum według projektu Adama Prockiego, a jego odsłonięcia dokonano jesienią 1953 r. W mauzoleum umieszczono prochy więźniów. W 1963 r. zdjęto z kamiennego cokołu postać z brązu. W 1985 r. dobudowano do pomnika-mauzoleum dwa skrzydła, w których umieszczono ziemię pobraną z terenów byłych podobozów KL Gross-Rosen.