Kamienica została wzniesiona około 1300r na kwadratowej działce o boku 15 m. Jej pierwszym notowanym właścicielem był wójt Ludwik. U schyłku XIV wieku należała do Gniewosza z Dalewic, dworzanina króla Władysława Jagiełły. Zgodnie z legendą w tym czasie w budynku miał ukrywać się arcyksiążę Wilhelm Habsburg i po kryjomu spotykać z królową Jadwigą, gdy ich zaręczyny zostały zerwane a Jadwiga zmuszona do poślubienia Jagiełły.
Pod koniec XIV wieku budynek został nadbudowany o trzecią kondygnację, a sala na piętrze otrzymała gotyckie sklepienie sieciowe z kamiennymi żebrami i polichromią. W XVI wieku kamienica stanowiła własność patrycjuszowskich rodzin Turzonów i Krupków. Z tego okresu pochodzi renesansowy portal, który obecnie jest obramieniem jednego z okien. Na początku XVII wieku Stanisław Rapp, kanonik wiślicki, gruntownie przebudował kamienicę. Do 1668 pozostawała ona rezydencją rodzinną Rappów[.
U schyłku XVII wieku właścicielem kamienicy został chorąży i sędzia grodzki Andrzej Żydowski. Zlecił on Baltazarowi Fontanie, wystrój sal na piętrze. Stworzona przez artystę Sala Fontanowska jest uznawana za jedno z najpiękniejszych wnętrz mieszczańskich w Polsce. W jeden części pomieszczenia umieścił on medaliony i girlandy przypominające zdobienia w kościele św. Tomasza w Castel Gandolfo. Przedstawione zostały alegorie: Malarstwa, Rzeźby, Architektury i Muzyki. W drugiej części sali znajdują się ornamenty w typie panopliów, dwa biusty kobiece, a na ścianach holenderskie płytki.
Od połowy XVIII do początków XIX wieku kamienica stanowiła własność rodu Morsztynów. W 1833 została ona przebudowana według projektu majstra murarskiego Francesco von Pierreta dla Józefa Dąbkowskiego. Zaadaptowano wówczas część parteru na sklepy, zmieniono dach i fasady z obydwu stron. W II połowie XIX wieku w budynku mieściła się pensja dla panien, należąca do Julii Brossard. W 1893 kamienica została przebudowana i odrestaurowana według projektu architekta Władysława Ekielskiego. Z tego okresu pochodzi neogotycki portal od strony ul. Sławkowskiej.