Budynek powstał pod koniec XVII wieku jako pałac w stylu barokowym. Ozdobiony był dwoma alkierzami znajdującymi się po bokach elewacji od strony rzeki. W XVIII wieku właścicielami pałacu był wojewoda wileński i hetman wielki litewski Michał Kazimierz Ogiński (zm. 1800). W XIX wieku usunięto zwieńczenia wież bocznych i przykryto gmach wysokim czterospadowym dachem.

W 1868 roku w pałacu uruchomiono browar, którego właścicielem był pochodzący z Austrii kupiec Józef Kunc. W 1918 browar został zakupiony przez przedsiębiorcę Judela Margolisa, który po remoncie na początku lat 20. rozpoczął produkcje piwa. Po bankructwie rodziny Margolisów, browar wykupiła w 1933 roku firma Warszawskie Towarzystwo Handlowo-Przemysłowe “Horacy Heller” Spółka Akcyjna i rozpoczęła produkcję piwa prowadząc ją do 1939 roku. Po 1945 roku produkcję kontynuowano.