Powstała jako fragment dawnej osady rybackiej zwanej Piscatoria, znanej już w okresie średniowiecza i wzmiankowanej w wieku XVI. Lokalizacja dawnej rybackiej wioski pokrywa się mniej więcej z przebiegiem obecnej ul. Rybaki.

Pierwsza zabudowa leżącej ówcześnie tuż przy wiślanym brzegu ulicy pojawiła się pod koniec średniowiecza; były to spichlerze i domy mieszkalne. Parzysta strona ulicy została zabudowana dopiero po cofnięciu się koryta Wisły, pod koniec XVIII wieku; pierwszymi obiektami były wielka, murowana dwupiętrowa kamienica oraz drewniany budynek Komory Wodnej. W tym okresie kilka parcel przy ulicy posiadał przy Bugaj hetman wielki litewski Michał Kazimierz Ogiński, inne należały do zamożnych mieszczan.

W okresie XIX stulecia przy ulicy wybudowano kilka domów mieszkalnych; kilka też powstało z przebudowy dawnych spichlerzy.

Największa inwestycja przy ulicy powstała jednak dopiero w roku 1923: był to ogromny zespół domów Pocztowej Kasy Oszczędności, wystawionych na Gnojnej Górze, dawnym wysypisku śmieci. Zaprojektowany przez Mariana Lalewicza zespół budynków otaczał z trzech stron Gnojną Górę, zaś do głównego wejścia prowadziły schody wytyczone na osi ulicy Piotra Antoniego Steinkellera.

Przed wojną przy ulicy wybudowano jeszcze zachowane do dziś Koszary Oddziału Zamkowego Prezydenta RP (Służby Zamkowej), które zastąpiły wybudowane naprzeciwko w roku 1865 baraki mieszczące jednostkę Kozaków Kubańskich. Autorem projektu architektonicznego prawdopodobnie był Adolf Szyszko-Bohusz. W tym okresie powstał też dom pod numerem 14, będący obecnie tu jedynym przykładem funkcjonalizmu. Przed 1938 wystawiono też zabudowania Przedszkola im. Michaliny Mościckiej, według projektu Jana Łukasika.

Walki powstańcze w roku 1944 doprowadziły do zniszczenia niemal całej zabudowy; po wojnie wyremontowano jedynie Koszary Służby Zamkowej oraz modernistyczną kamienicę o silnie wydłużonej fasadzie od strony ulicy Wodnej, przyporządkowane jednak numeracji ulicy Bugaj.

Przetrwał też pozbawiony częściowo dekoracji Dom Komory Wodnej z roku 1850, ruiny pozostałych zabudowań, w tym zasłaniających panoramę Starego Miasta gmachów Pocztowej Kasy Oszczędności.

Źródło: