Pomysłodawcą usypania (zbudowania) Kopca Piłsudskiego był por. Franciszek Supergan. W 1934 Związek Legionistów Polskich zatwierdził pomysł usypania kopca - pomnika walki narodu o niepodległość. W Warszawie powstał Komitet Budowy Kopca na czele którego stanął płk Walery Sławek. Kopiec rozpoczęto sypać 6 sierpnia 1934 r. w dwudziestą rocznicę wymarszu z Krakowa I kompanii kadrowej Legionów. Autorem projektu był Franciszek Mączyński, a kierownikami robót byli inż. Stanisław Kuźmiński, później inż. Kacper Marchewka.
Po śmierci marszałka Józefa Piłsudskiego postanowiono kopiec nazwać jego imieniem. Sypanie zakończono 9 lipca 1937 r. W kopcu złożono ziemię z wszystkich pól bitewnych I wojny światowej, na których walczyli Polacy, w tym ze szczytu Krzemieniuchy. W 1941 r. generalny gubernator Hans Frank wydał rozkaz zniwelowania kopca, który na szczęście nie został wykonany.
Po II wojnie światowej władze starały się, aby kopiec wymazać z pejzażu miasta i ze świadomości krakowian. W 1953 r. przy użyciu czołgu usunięto ze szczytu kopca granitową płytę z wyrytym na niej Krzyżem Legionowym. Zniszczono wówczas cały stok kopca.
W wyniku ulewnych deszczy w latach 1996 i 1997, 65% zboczy kopca uległo procesowi podmycia (erozji) i zniszczenia. Remont kopca trwał 5 lat. W 2010 r. w wyniku intensywnych opadów 50-70 m² zbocza ponownie uległo zniszczeniu.
