Pałac Tarłów, błędnie nazywany pałacem Olizarów, został zbudowany w XVII wieku. Przez ponad sto lat miały tu swoją siedzibę liczne placówki oświatowe. Od 1971 roku w budynku mieści się Wojewódzki Ośrodek Kultury.

W XVI i XVII wieku teren, gdzie miał powstać pałac, należał do możnej rodziny różnowierczej Słupeckich herbu Rawicz. Posiadali oni w tym miejscu dom przedmiejski z ogrodem. Po zburzeniu w 1627 roku przez katolików zboru kalwińskiego, Barbara Słupecka przeniosła nabożeństwa do pałacu. Po śmierci ostatniego z rodu Słupeckich dwór często zmieniał właściciela, i w 1701 roku trafił w ręce rodziny Tarłów herbu Topór. Oni też są domniemanymi fundatorami pałacu. Data jego budowy nie jest znana. Możemy określić ją jedynie w przybliżeniu na trzecią ćwierć XVII wieku.
Jan, pierwszy z właścicieli, był marszałkiem Trybunału, wojewodą lubelskim i sandomierskim, podskarbim Wielkiego Księstwa Litewskiego i generałem-leutnantem wojsk koronnych. W posiadaniu Tarłów pałac pozostawał do 1750 roku. Po śmierci marszałka jego żona, Zofia wyszła za mąż za Antoniego Lubomirskiego. Ze zmianą właścicieli zbiegł się także pożar obiektu.
W 1758 Lubomirscy przekazali pałac pijarom, jako podstawę ich przyszłego kompleksu kościelno-klasztornego. Ten jednak nigdy nie powstał, a pijarzy puścili pałac w dzierżawę Kajetana oraz Filipa Olizarów. Ten drugi był marszałkiem Trybunału Koronnego, jego fama jako organizatora hucznych bali i uczt dotrwała do kolejnego stulecia.
W 1809 roku w pałacu umieszczono lazaret wojskowy. Istniał on w tym miejscu przed dwa dziesięciolecia po czym budynek zmienił swoją funkcję. Stał się siedzibą Wydziału Skarbowego Rządu Gubernialnego Lubelskiego.
Od 1850 roku przez kolejne sto dwadzieścia lat, z przerwą w latach 1939–1945, pałac był siedzibą różnego typu placówek edukacyjnych. Od Instytutu Żeńskiego dla Panien poczynając, poprzez Gimnazjum Żeńskie, szkołę podstawową, a na Liceum im. Unii Lubelskiej kończąc.
W 1970 liceum przeniosło się do nowego budynku, a pałac stał się siedzibą Wojewódzkiego Domu Kultury.

źródło: