Ulica została wytyczona w 1856 jako łącznik pomiędzy placem Wolności a Rynkiem i otrzymała nazwę Industriestraße. Polscy mieszkańcy miasta nazywali ją ulicą Pańską ze względu na umiejscowienie przy niej eleganckich sklepów i mieszkań lub ulicą Główną. 24 października 1867 Rada Miejska na wniosek magistratu podjęła decyzję o przemianowaniu jej na Grundmannstraße. Było to zjawiskiem wyjątkowym, gdyż Friedrich Grundmann zmarł dwadzieścia lat później − 30 lipca 1887. Świadczyło to o jego zasługach dla miasta.
W 1871 miasto zakupiło dom nr 9 przy Grundmannstraße na cel tymczasowej siedziby magistratu i radnych miejskich. Koszt zakupu wyniósł 21 500 talarów. Wcześniej radni wynajmowali pomieszczenia w domu Immerwartha (również przy tej ulicy). W 1908 na ulicy poprowadzono drugi tor tramwajowy. Od 1907 pod numerem 11 funkcjonowało kino Grand-Kinematograf. W dwudziestoleciu międzywojennym pod numerem 9 funkcjonowała centrala Banku Śląskiego − Banque de Silésie SA i spółka akcyjna "Śląskie Zakłady Elektryczne" (do 1939). W latach 1861/62 na rogu ulic Industriestraße i Schillerstraße (ul. J. Słowackiego) wybudowano pierwszą katowicką synagogę według projektu Ignatza Grünfelda.
Do 1939 pod numerem 3 zlokalizowany był największy damski i dziecięcy dom konfekcyjny w mieście − Baender. Swoją siedzibę w nim posiadała firma Ocularium (oferująca artykuły fotograficzne i optyczne) oraz sklep Pedicura (oferujący obuwie oraz usługi związane z pielęgnacją nóg). Pod numerem 2 istniał skład win i wódek B. Hartmanna i firmy Klonowski i Ska oraz biuro wynajmu filmu "Espefilm", a do 1910 − fabryka likierów Ewalda Puschkewitza. Pod numerem 6 w 1862 założono Dom Obuwia, prowadzony przez F. Kochmana, a pod numerem 5 swoją hurtownię towarów kolonialnych posiadał L. Broński. W budynku nr 31 istniał do 1939 Katowicki Dom Licytacyjny B. Cubera[11], a pod nr 32 − sklep Moritza Nebla. Do 1939 przy ulicy istniały konsulaty; francuski i włoski pod numerem 23, a brytyjski pod numerem 33.
Ulica 3 Maja została wspomniana w książce Kazimierza Gołby "Wieża spadochronowa", opowiadającej o bohaterskiej obronie Katowic w czasie kampanii wrześniowej przez harcerzy.