Ulica w kształcie, w jakim możemy ją częściowo podziwiać do dzisiaj powstała dopiero w drugiej połowie XIX wieku. Wcześniej była to zwykła polna droga, rzadko zabudowana wiejskimi domami, za którymi ciągnęły się rozległe ogrody. Właśnie od tych ogrodów wzięła się przedwojenna nazwa ulicy – Gartenstrasse (Ogrodowa). Nazwę tą wprowadzono oficjalnie w 1823 r., lecz we wcześniejszych wiekach można spotkać także inne nazwy. Odcinek od ul. Grabiszyńskiej do ul. Stawowej zwano Wielkim Wygonem (Große Anger), a od ul. Stawowej do ul. Dworcowej Nowym Wygonem (Neue Anger) później określany jako Angergasse. Ten ostatni odcinek nosił też czasowo nazwę Am Oberschlesischen Bahnhof lub Am Hauptbahnhof (sam plac przed Dworcem Głównym). Jakby tego było mało to do 1906 r. do Gartenstr. zaliczana była także obecna ul. Gabrieli Zapolskiej. Szybki rozwój ulicy nastąpił po wyburzeniu przez Francuzów fortyfikacji miejskich w 1807 r., a następnie przez wybudowanie w połowie XIX w. najpierw Dworca Górnośląskiego, a następnie Dworca Głównego. Ulica stała się reprezentacyjną arterią Przedmieścia Świdnickiego. W rejonie dworca powstawały hotele (Kronprinz, Nord, Vier Jahreszeiten), ośrodki kulturalne (Dom Koncertowy, obecny Teatr Polski, kino Capitol), urzędy (Śląski Sejm Krajowy, Dyrekcja Kolei).

W czasie II wojny światowej zabudowa ulicy została w znacznym stopniu zniszczona. Luki w zabudowie zaczęto uzupełniać już w latach 50. i 60. na północnej stronie ulicy i w rejonie placu Legionów. W 1961 r. ulicę przedłużono od pl. Legionów od pl. Orląt Lwowskich.
Przez pierwsze dwa powojenne lata ulica nosiła przetłumaczoną niemiecką nazwę czyli była to ul. Ogrodowa. W kwietniu 1947 r. patronem ulicy został Karol Świerczewski (1897-1947), generał, działacz komunistyczny, zabity 28 III 1947 r. przez oddział UPA pod Jabłonkami w Bieszczadach. Od 1992 r. patronem jest marszałek Józef Klemens Piłsudski (1867-1935), pierwszy Marszałek Polski, mąż stanu, Naczelnik Państwa, dwukrotny premier II RP.

Ulicę wytyczono prawdopodobnie na początku XIX w. Ponieważ biegła wśród łąk i pól otrzymała nazwę Flurstr. W 1842 r. w południowej części ulicy wzniesiono wg. proj. Petera Resenbauma, pierwszy wrocławski dworzec - Kolei Górnośląskiej. W pobliżu istniał w latach 1852-87 Zakład Odlewniczy i Budowy Maszyn Bilsteina. W 1905 r. między starym dworcem Kolei Górnośląskiej a nowym Dworcem Głównym wzniesiono budynek poczty według projektu H. Robrade. Zabudowa powstawała systematycznie od lat 60. XIX w.
W czasie wojny zniszczone zostały kamienice nr 2-14 od ul. Dąbrowskiego na wschód, które zastąpiono na początku lat 60. XIX w. nowymi blokami.