Murowany obiekt powstał w tym miejscu około połowy XIV w. Dom rozbudowano w kolejnym stuleciu. Pierwotnie obecną działkę stanowiły aż trzy parcele: dwie od strony Rynku i jedna od ulicy Sławkowskiej. Większe przekształcenia miały miejsce w 1 połowie XVII w. Dom narożny, określany mianem Ludwikowskiego (od niemieckiej rodziny Ludwigów), powstał około 1300 i w swojej średniowiecznej szacie przetrwał do połowy XVIII w. W średniowieczu istniała tu przejściowo mennica (wzmiankowana 1438). W latach 1627-1652 działała tu apteka „Pod Jeleniem”. W XVII w. dom Ludwigowski przeszedł na niemiecką rodzinę Amendów, wzbogaconą przy zarządzie kopalni srebra w Olkuszu. Druga kamienica, od strony Rynku, powstała w tym samym czasie. Stanęła w centrum działki lokacyjnej, w formie murowanej wieży na rzucie kwadratu. Zwana kamienicą Waytmanowską została rozbudowana na przełomie XIV i XV w. Trzecia, usytuowana od strony ul. Sławkowskiej, określana była jako Żydowska. W XVIII w. właścicielami kamienicy byli Jagniątkowscy (1730). W 1758 wszystkie trzy domy kupił Józef Bartsch, który ok. 1773 roku wyburzył część zabudowy, resztę połączył i nabudował tworząc okazały pałac miejski. Od 1776 działał tu zajazd „Pod Jeleniem”. Spadkobiercy Józefa Bartscha sprzedali kamienicę w 1818 Karolowi Treutlerowi za 100.000 zł. Za czasów Treutlera na parterze prowadzono „Aptekę pod Złotym Jeleniem”. Remont połączony ze zmianą dachu miał miejsce w 1830. Wtedy też na elewacji pojawił się wchodzący w modę balkon z żelaznymi balustradami. Z czasem córka Treutlera scedowałą dom Arcybractwu Miłosierdzia. Współczesny kształt nadała budynkowi przebudowa z lat 1867-1868. Wówczas też na jego fasadzie znalazła się płaskorzeźba przedstawiająca Anioła Stróża. Adaptacja parteru na cele handlowe nastąpiła w 1897. Znalazła tu swe lokum słynna księgarnia oraz „Ekspedycya pism periodycznych” Stanisława Andrzeja Krzyżanowskiego - jej stałym bywalcem księgarni Krzyżanowskiego był m.in. Henryk Sienkiewicz. We wrześniu 1939 Niemcy skonfiskowali większość zbiorów Krzyżanowskiego uznając je za „niebezpieczne”, a w 1940 eksmitowali księgarnię. Do lokalu przy Rynku Głównym księgarnia wróciła w 1949, ale dwa lata później w ramach państwowej kolektywizacji firma została przejęta przez „Dom Książki”. Po raz kolejny zmodernizowano dom na początku XX w. Później ograniczano się do mniej lub bardziej powierzchownych remontów (1953, 1956, 1964-1965); gruntowne prace konserwatorskie przeprowadzono w latach 1971-1973.