Ulica Rybacka pierwotnie mieściła się w ścisłym centrum lokowanego miasta i praktycznie do XVI wieku włącznie była reprezentacyjną ulicą Elbląga, której znaczenie od wieku XVII przejęła ulica Bednarska. Najstarsza wzmianka o szkole w Elblągu pochodzi z roku 1319, wymieniono nawet imię pierwszego nauczyciela - Everhard. Szkoła mieściła się przy ulicy Rybackiej 14. W wieku XIV żyli tutaj przede wszystkim bogaci kupcy i rajcy miejscy, stąd umiejscowienie szkoły nie jest przypadkowe - szczególnie, iż pierwszy księgozbiór w mieście, zalążek późniejszej miejskiej biblioteki, posiadał wówczas kościół św. Mikołaja, a w roku 1403 z inicjatywy poboszcza Mikołaja Wulsaka wybudowano przy kościele bibliotekę. Od roku 1319 przy Rybackiej 9 znajdował się pierwszy Dwór Artusa, przeniesiony w roku 1578 na główny miejski trakt - róg Starego Rynku i Kowalskiej.