W miejscu dzisiejszego pałacu znajdował się w średniowieczu dwór obronny lub zamek. W roku 1602 przebudował go gruntownie Wenzeslaus von Zedlitz, starosta księstwa legnicko – brzeskiego i opiekun książęcych dzieci. Powstał wówczas renesansowy dwór otoczony wodą. W kolejnych latach majątek należał m.in. do rodzin baronów von Zahradeck i von Seherr – Thoss. Kolejna rozbudowa miała miejsce w latach 1748 – 1762, kiedy to nowy wystrój otrzymały wnętrza. 1 lipca 1812 r. wieś kupił, pochodzący z Podlasia, porucznik w służbie pruskiej, Ludwik Serafin von Olszewski żonaty z Helene Wilhelmine Friederike von Schweinitz. Jego wnuk Alfred von Olszewski zauroczony książkami Henryka Sienkiewicza nadał swoim dzieciom imiona Draga, Bogdan i Bolesław. W swoim testamencie zastrzegł, że gdyby dzieci nie powróciły do polskich korzeni, majątek ma przejść na własność Sienkiewicza. Ten zapisu nie przyjął, a dobra objęła Draga, już wtedy żona Heinricha von Zedlitz und Neukirch. Von Olszewscy pozostali właścicielami Warmątowic do II wojny światowej. W 1944 r. pałac stał się jedną ze składnic Güntera Grundmanna. Zdeponowano tu wielki zbiór numizmatyczny z Wrocławia. Do lat sześćdziesiątych pałac zamieszkiwali indywidualni użytkownicy. Następnie został opuszczony. W 1995 r. zakupili go prywatni inwestorzy. Ciekawostką jest, że w pałacu miał swoja kwaterę generał, a późniejszy feldmarszałek, Gebhard Leberecht von Blücher, głównodowodzący wojsk prusko – rosyjskich w bitwie nad Kaczawą. Pokonał on wówczas wojska napoleońskie pod dowództwem generała MacDonalda. W nagrodę otrzymał od króla tytuł księcia von Wahlstatt i majątek w Krobielowicach. Na pamiątkę zwycięstwa, do dziś w pobliżu pałacu znajduje się obelisk.

(opis za : R.M. Łuczyński - "Zamki i pałace Dolnego Śląska - Przedgórze Sudeckie, Nizina Śląska - część wschodnia")