Pałac wybudowano około 1780 roku wg projektu architekta Stanisława Zawadzkiego. Rezydencję zlokalizowano na wysokim brzegu odnogi Narwi, a inicjatorem budowy był podskarbi wielki litewski i bratanek króla Stanisław Poniatowski (1754 - 1833). Podskarbi Poniatowski organizował spotkania wzorowane na obiadach czwartkowych swojego wuja – króla Stanisława Augusta Poniatowskiego. Pałac gościł w swych murach takie osobistości jak Ignacy Krasicki, Adam Naruszewicz, Stanisław Trembecki i Józef Wybicki.

Po przejęciu tych terenów w wyniku rozbiorów przez Królestwo Prus, majątek został sprzedany 25 czerwca 1796 roku i przeszedł na własność szambelana królewskiego, prezesa Senatu Księstwa Warszawskiego i Towarzystwa Gospodarczo-Rolnego Ludwika Szymona Gutakowskiego, który stworzył w Górze gospodarstwo rolne. W 1801 roku pałac namalował Zygmunt Vogel. W 1838 roku jego syn Wacław Gutakowski dokonał zamiany terenów wsi Olszewnica, Krubin, Janówek i Góra na tereny w piotrkowskim i tym samym pałac przeszedł na własność państwa, a następnie został przeznaczony na siedzibę prawosławnych archirejów, w których posiadaniu znajdywał się do I wojny światowej.

Podczas I wojny światowej w 1915 roku pałac został uszkodzony w wyniku ostrzału.

Od 1933 roku w odrestaurowanym budynku działała "Państwowa Niższa Szkoła Rolnicza Żeńska w Willi Górze", która od 1937 roku po przekształceniu nosiła nazwę "Państwowa Szkoła Przysposobienia Gospodyń Wiejskich w Willi Górze".

Podczas II wojny światowej pałac spłonął i nie został już odbudowany. Jego teren przejął Zakład Doświadczalny Polskiej Akademii Nauk, który doprowadził do dewastacji park i najbliższe otoczenia pałacu. Obecnie pałac znajduje się w stanie daleko posuniętej ruiny.

Pałac miał kształt prostokąta z ryzalitem ma osi. Ryzalit ten był zamknięty trójbocznie. Pałac pokryty był dachem krytym dachówką. Parter zajmowało 14 pomieszczeń o charakterze reprezentacyjnym, a piętro mieściło pomieszczenia mieszkalne. W pałacu znajdowało się 46 okien. W centralnej części wnętrza mieściła się ośmioboczna sala balowa o wysokości dwóch kondygnacji. Wnętrza ozdabiały polichromie autorstwa Szymona Mańkowskiego. Około 1888 roku pałac niekorzystnie przebudowano obniżając dach.

Rezydencja otoczona była kilkuhektarowym parkiem, a prowadziła do niej wysadzana lipami aleja i podjazd w kształcie podkowy.

W pobliżu pałacu zachował się klasycystyczny spichlerz oraz oficyna i kuźnia z XVIII wieku.