Pałac Radziwiłłów został wybudowany w stylu eklektycznym, przez Michała Radziwiłła. Obiekt, z dworem (obecnie Muzeum Mikołaja Reja) połączony był parterową przewiążką, rozebraną w latach 1985-1987. Całość pozostała w rękach Radziwiłłów do 1945 r. Po zakończeniu II wojny światowej majątek liczący sobie ok. 270 ha został rozparcelowany. Przez kilka miesięcy, do listopada 1945 r., tak pałacem jak i dworem zarządzał Związek Literatów Polskich – gościł tu wówczas m.in. Paweł Jasienica. Krótko po wojnie dwór przeznaczony został na dom dziecka, a w niedalekiej przyszłości - również pałac pełnił tę funkcję.  

Na początku lat siedemdziesiatych XXw., po zachodniej stronie pałacu wybudowano blok z przeznaczeniem na cele mieszkaniowe.

W latach 1985-1987 wykonano generalny remont obu budynków, a kolejne prace rewaloryzacyjne miały miejsce w latach 2005-2011. Działania porządkowe i pielęgnacyjne cennego drzewostanu i układu parkowego prowadzono w latach 2003-2010.

Obecnie w pałacu funkcjonuje "Ośrodek Teatralno Edukacyjny im. Mikołaja Reja" oraz Socjalizacyjna Placówka Opiekuńczo-Wychowawcza Nr 1, która zajmuje niewielką część bloku mieszkalnego i przybudówki pałacu..