Ulica w kształcie, w jakim możemy ją częściowo podziwiać do dzisiaj powstała dopiero w drugiej połowie XIX wieku. Wcześniej była to zwykła polna droga, rzadko zabudowana wiejskimi domami, za którymi ciągnęły się rozległe ogrody. Właśnie od tych ogrodów wzięła się przedwojenna nazwa ulicy – Gartenstrasse (Ogrodowa). Nazwę tą wprowadzono oficjalnie w 1823 r., lecz we wcześniejszych wiekach można spotkać także inne nazwy. Odcinek od ul. Grabiszyńskiej do ul. Stawowej zwano Wielkim Wygonem (Große Anger), a od ul. Stawowej do ul. Dworcowej Nowym Wygonem (Neue Anger) później określany jako Angergasse. Ten ostatni odcinek nosił też czasowo nazwę Am Oberschlesischen Bahnhof lub Am Hauptbahnhof (sam plac przed Dworcem Głównym). Jakby tego było mało to do 1906 r. do Gartenstr. zaliczana była także obecna ul. Gabrieli Zapolskiej. Szybki rozwój ulicy nastąpił po wyburzeniu przez Francuzów fortyfikacji miejskich w 1807 r., a następnie przez wybudowanie w połowie XIX w. najpierw Dworca Górnośląskiego, a następnie Dworca Głównego. Ulica stała się reprezentacyjną arterią Przedmieścia Świdnickiego. W rejonie dworca powstawały hotele (Kronprinz, Nord, Vier Jahreszeiten), ośrodki kulturalne (Dom Koncertowy, obecny Teatr Polski, kino Capitol), urzędy (Śląski Sejm Krajowy, Dyrekcja Kolei).

W czasie II wojny światowej zabudowa ulicy została w znacznym stopniu zniszczona. Luki w zabudowie zaczęto uzupełniać już w latach 50. i 60. na północnej stronie ulicy i w rejonie placu Legionów. W 1961 r. ulicę przedłużono od pl. Legionów od pl. Orląt Lwowskich.
Przez pierwsze dwa powojenne lata ulica nosiła przetłumaczoną niemiecką nazwę czyli była to ul. Ogrodowa. W kwietniu 1947 r. patronem ulicy został Karol Świerczewski (1897-1947), generał, działacz komunistyczny, zabity 28 III 1947 r. przez oddział UPA pod Jabłonkami w Bieszczadach. Od 1992 r. patronem jest marszałek Józef Klemens Piłsudski (1867-1935), pierwszy Marszałek Polski, mąż stanu, Naczelnik Państwa, dwukrotny premier II RP.

Plany założenia ulicy pojawiły się w 1856 r. w związku potrzebą zastąpienia ul. Nasypowej, która została zdegradowana podczas budowy linii kolejowej. Wytyczona została w latach 1864-1887 w czterech osobnych odcinkach przez różnych inwestorów. Odcinek zachodni do ul. Zielińskiego zakładali murarz Meinecke i inspektor budowlany Lutz, odcinek od ul. Zielińskiego do ul. Powstańców Śląskich spółka Schottländer-Kuvecke-Oscar Cohn, od ul. Powstańców Śląskich do ul. Komandorskiej mistrz ciesielski Kuvecke, a ostatni fragment od ul. Komandorskiej do ul. Hubskiej założyli w 1885 r. Machol i Schaps. Nowa ulica otrzymała nazwę Sadowastr. dla upamiętnienia bitwy pod wsią Sadowa (3 lipca 1866) niedaleko Königgrätz (Hradec Králové). W 1925 r. z wschodniego odcinka ulicy (od ul. Hubskiej do ul. Borowskiej) utworzono nową ulicę An der Teichäckern (dziś ul. Sucha). Zabudowa powstała głównie w latach 1871-1880, przy czym wyróżniały się dwa gmachy. Jeden to powstała w latach 1885-88 szkoła elementarna na rogu z ul. Zielińskiego proj. Roberta Mende i Richarda Plüddemana, oraz pierwszy wrocławski dom opieki społecznej proj. Karla Klimma i Richarda Plüddemana, oddany do użytku 1 października 1909 r.
W wyniku działań wojennych w 1945 r. zniszczona została niemal cała zabudowa ulicy oprócz wspomnianej szkoły i budynku biurowego w pobliżu ul. Powstańców Śląskich (zburzonego w 2004 r.).