Historia "Osady Rybaki" powiązana jest z dziejami Dębnik. Po przejściu Krakowa pod panowanie austriackie wiślany brzeg Dąbia został zasiedlony przez byłych mieszkańców jurydyki Podzamcze i wtedy to powstała osada rybacka. Dębniki i Rybaki posiadały w XIX w. odrębne struktury samorządowe.

W 1900 Dębniki wraz z Rybakami zamieszkiwało ponad 2700 osób, dwa lata później odnotowano tam 136 domów mieszkalnych, 13 budynków gospodarczych i sześć zakładów przemysłowych. Z informacji zawartcy w publikacji „Kraków na starych widokówkach”, w 1706 rybacy otrzymali nakaz przeniesienia się na drugą stronę Wisły, co było związane z budową umocnień przy zamku. Po drugiej stronie rzeki znajdowały się Dębniki, należące wówczas w dużej części do paulinów z kościoła na Skałce. Toczyli oni wieloletni spór z rybakami, co spowodowało, że przenosiny bardzo się przeciągały.
Zabudowa przestała istnieć w 1914 r. Wyjątkiem jest sześcienny piętrowy budynek znajdujący się najbliżej zamku.