Ulica w kształcie, w jakim możemy ją częściowo podziwiać do dzisiaj powstała dopiero w drugiej połowie XIX wieku. Wcześniej była to zwykła polna droga, rzadko zabudowana wiejskimi domami, za którymi ciągnęły się rozległe ogrody. Właśnie od tych ogrodów wzięła się przedwojenna nazwa ulicy – Gartenstrasse (Ogrodowa). Nazwę tą wprowadzono oficjalnie w 1823 r., lecz we wcześniejszych wiekach można spotkać także inne nazwy. Odcinek od ul. Grabiszyńskiej do ul. Stawowej zwano Wielkim Wygonem (Große Anger), a od ul. Stawowej do ul. Dworcowej Nowym Wygonem (Neue Anger) później określany jako Angergasse. Ten ostatni odcinek nosił też czasowo nazwę Am Oberschlesischen Bahnhof lub Am Hauptbahnhof (sam plac przed Dworcem Głównym). Jakby tego było mało to do 1906 r. do Gartenstr. zaliczana była także obecna ul. Gabrieli Zapolskiej. Szybki rozwój ulicy nastąpił po wyburzeniu przez Francuzów fortyfikacji miejskich w 1807 r., a następnie przez wybudowanie w połowie XIX w. najpierw Dworca Górnośląskiego, a następnie Dworca Głównego. Ulica stała się reprezentacyjną arterią Przedmieścia Świdnickiego. W rejonie dworca powstawały hotele (Kronprinz, Nord, Vier Jahreszeiten), ośrodki kulturalne (Dom Koncertowy, obecny Teatr Polski, kino Capitol), urzędy (Śląski Sejm Krajowy, Dyrekcja Kolei).

W czasie II wojny światowej zabudowa ulicy została w znacznym stopniu zniszczona. Luki w zabudowie zaczęto uzupełniać już w latach 50. i 60. na północnej stronie ulicy i w rejonie placu Legionów. W 1961 r. ulicę przedłużono od pl. Legionów od pl. Orląt Lwowskich.
Przez pierwsze dwa powojenne lata ulica nosiła przetłumaczoną niemiecką nazwę czyli była to ul. Ogrodowa. W kwietniu 1947 r. patronem ulicy został Karol Świerczewski (1897-1947), generał, działacz komunistyczny, zabity 28 III 1947 r. przez oddział UPA pod Jabłonkami w Bieszczadach. Od 1992 r. patronem jest marszałek Józef Klemens Piłsudski (1867-1935), pierwszy Marszałek Polski, mąż stanu, Naczelnik Państwa, dwukrotny premier II RP.

Ulica zaczęła powstawać w 1863 r., kiedy urzędnik miejski Nowak przeznaczył część swej parceli przy ul. Piłsudskiego pod nową ulicę. Już dwa lata później otrzymała nazwę Neudorfstr. gdyż prowadziła do dawnej Nowej Wsi należącej do komadnorii joanitów. Stopniowo kamienice czynszowe zaczęły wypierać dawną zabudowę podmiejską i wiejską. W latach 1875-1911 przy południowym odcinku ulicy wzniesiono budynki szpitala Wenzel-Hancke (dziś Akademia Ekonomiczna). Plany urbanistyczne z końca XIX w. przewidywały przedłużenie ulicy do al. Wiśniowej. Niestety zrealizowano tylko krótki odcinek tuż przy dawnym Szpitalu Żydowskim (dziś Szpital Kolejowy), który nigdy nie został połączony z główną ulicą.

W czasie wojny wszystkie kamienice zostały zburzone, ocalały jedynie zabudowania dawnego szpitala. Obecna nazwa do 20 III 1972 r. odnosiła się do "głównego" odcinka oraz fragmentu przy al.Wiśniowej. Od tego czasu ten ostatni zaliczany jest do al. Wiśniowej.