Ulica w kształcie, w jakim możemy ją częściowo podziwiać do dzisiaj powstała dopiero w drugiej połowie XIX wieku. Wcześniej była to zwykła polna droga, rzadko zabudowana wiejskimi domami, za którymi ciągnęły się rozległe ogrody. Właśnie od tych ogrodów wzięła się przedwojenna nazwa ulicy – Gartenstrasse (Ogrodowa). Nazwę tą wprowadzono oficjalnie w 1823 r., lecz we wcześniejszych wiekach można spotkać także inne nazwy. Odcinek od ul. Grabiszyńskiej do ul. Stawowej zwano Wielkim Wygonem (Große Anger), a od ul. Stawowej do ul. Dworcowej Nowym Wygonem (Neue Anger) później określany jako Angergasse. Ten ostatni odcinek nosił też czasowo nazwę Am Oberschlesischen Bahnhof lub Am Hauptbahnhof (sam plac przed Dworcem Głównym). Jakby tego było mało to do 1906 r. do Gartenstr. zaliczana była także obecna ul. Gabrieli Zapolskiej. Szybki rozwój ulicy nastąpił po wyburzeniu przez Francuzów fortyfikacji miejskich w 1807 r., a następnie przez wybudowanie w połowie XIX w. najpierw Dworca Górnośląskiego, a następnie Dworca Głównego. Ulica stała się reprezentacyjną arterią Przedmieścia Świdnickiego. W rejonie dworca powstawały hotele (Kronprinz, Nord, Vier Jahreszeiten), ośrodki kulturalne (Dom Koncertowy, obecny Teatr Polski, kino Capitol), urzędy (Śląski Sejm Krajowy, Dyrekcja Kolei).

W czasie II wojny światowej zabudowa ulicy została w znacznym stopniu zniszczona. Luki w zabudowie zaczęto uzupełniać już w latach 50. i 60. na północnej stronie ulicy i w rejonie placu Legionów. W 1961 r. ulicę przedłużono od pl. Legionów od pl. Orląt Lwowskich.
Przez pierwsze dwa powojenne lata ulica nosiła przetłumaczoną niemiecką nazwę czyli była to ul. Ogrodowa. W kwietniu 1947 r. patronem ulicy został Karol Świerczewski (1897-1947), generał, działacz komunistyczny, zabity 28 III 1947 r. przez oddział UPA pod Jabłonkami w Bieszczadach. Od 1992 r. patronem jest marszałek Józef Klemens Piłsudski (1867-1935), pierwszy Marszałek Polski, mąż stanu, Naczelnik Państwa, dwukrotny premier II RP.

W początkach swojego istnienia ulica prowadziła od ul. Podwale i kończyła się na wysokości dzisiejszego nasypu kolejowego. Nosiła wtedy jeszcze nazwę Gabitzerstr. Na początku lat 70. XIX wieku w związku z budową gmachu Śląskiego Muzeum Sztuk Pięknych odcinek od ul. Podwale do ul. Kościuszki nazwano Museumstr. (ul. Muzealna). W tym samym czasie zmieniono też nazwę obecnej ul. Zielińskiego na Höfchenstr. Wywodziła się ona od nazwy dawnej wsi Höfchen (Dworek) włączonej do Wrocławia w 1886 r. Rozwój ulicy na południe ąż do pl. Hirszfelda nastąpił po 1880 r. za sprawą działalności spółki Schlesische Immobilien Aktien Gesellschaft. Zabudowę zdominowały wtedy kamienice czynszowe.

Ulica mocno ucierpiała w czasie walk od Festung Breslau. Ze zwartej zabudowy ocalało jedynie kilka kamienic. Po 1945 r. patronem ulicy został Tadeusz Zieliński (1859-1944), badacz i fililog klasyczny. W połowie lat 60. XX w. likwidacji uległ odcinek ulicy między ul. Kościuszki i ul. Piłsudskiego.