Kamienica powstała w końcu latach 80. XVIII wieku i była jednym z wielu budynków w tzw. stylu józefińskim. Należał początkowo (przed 1836) do jednego z pionierów industrializacji w Bielsku-Białej, Dawida Grunewalda. Później był własnością rodziny Raffayów, którzy znacznie go rozbudowali i założyli w nim "parową fabryką cukierniczą". W 1884 r. Raffayowie sprzedali kamienicę wraz z fabryką Jakubowi Haberfeldowi. Na pocz. XX wieku w kamienicy znajdowała się "Cafe Central" prowadzona przez Henryka Kaufmanna i odwiedzana przez takie sławy ówczesnego świata artystycznego, jak Witkacy, Sienkiewicz czy Zapolska. Kiedy w 1945 r. wycofujące się wojska niemieckie wysadziły w powietrze most na Białej, kamienica uległa uszkodzeniu i została rozebrana. W jej miejscu powstał skwer. Dziś część tego terenu zajmuje postmodernistyczna kamienica z 2007 r. (która początkowo miała być rekonstrukcją przedwojennego budynku, później rekonstrukcją częściową, a ostatecznie nie jest żadną), a część placyk z fontanną i jedynym na świecie pomnikiem Reksia.

Główny deptak Bielska-Białej i jego tradycyjne centrum handlowe. Ma długość 900 m i biegnie równoleżnikowo od ul. Barlickiego na Dolnym Przedmieściu, przez historyczne centrum Białej Krakowskiej do ul. Lwowskiej (administracyjne osiedla: Śródmieście Bielsko, Biała Wschód). W obecnym kształcie powstała w latach 1772-1785 jako część traktu środkowogalicyjskiego i była główną ulicą oraz osią urbanistyczną Białej. Od samego początku koncentrowało się na niej życie handlowe, rozrywkowe i towarzyskie zarówno Białej, jak i – w mniejszym stopniu – Bielska. Mimo to aż do 1974 r. była jedną z głównych arterii komunikacyjnych miasta. W okresie PRL ulica nosiła nazwę Feliksa Dzierżyńskiego, która do dziś jest dość popularna wśród starszych mieszkańców. Na bialskim odcinku ulicy dominuje zabudowa józefińska z końca XVIII w., oprócz niej znajdują się tu również liczne budynki z XIX i XX stulecia i okresów późniejszych, natomiast w obrębie Dolnego Przedmieścia zachowały się tylko dwa obiekty z pierwotnej zabudowy, a pozostałe pochodzą z przełomu XIX oraz XX w.