Pałac zbudowano pod koniec XIX w dla książąt Druckich – Lubeckich, jako budynek trzypiętrowy.
W czasie okupacji Niemcy wywieźli z pałacu wiele cennych przedmiotów, a w sierpniu 1944 r. wyrzucili rodzinę Lubeckich i zakwaterowali w nim 300 – osobowy batalion.W styczniu 1945 roku w budynku ulokowali się żołnierze sowieccy, którzy dla rozrywki strzelali do luster i rzeźb. W połowie 1945 roku pałac wraz z dobrami bałtowskimi przejęło państwo. W rezydencji urządzono składnicę mienia podworskiego, do której zwożono zabytki ruchome z siedzib ziemiańskich z terenu powiatu iłżeckiego.Władze powiatowe miały ambicje otwarcia w pałacu muzeum terenowego. Przez kilka miesięcy 1945 r. w budynku mieścił się posterunek Milicji Obywatelskiej.W latach 1945 – 1949 działała w niej dwuletnia Żeńska Szkoła Gospodarstwa Wiejskiego, potem szkoła rolnicza, następnie od stycznia do lipca 1951 roku Szkoła Praktyków i Specjalistów. W 1951 roku w obiekcie ulokowano Państwowe Liceum Rolnicze.W połowie lat osiemdziesiątych pałac Lubeckich opustoszał.Przez szereg lat użytkowana niezgodnie z przeznaczeniem, pozbawiony należytej opieki oraz konserwacji, powoli lecz nieuchronnie podupadał i niszczał.