Obecny dwór prawdopodobnie nie jest pierwszym tego typu obiektem w Woli Grzymkowej. W XVII wieku obok folwarku mógł istnieć dwór, który zastąpiono tym, który możemy oglądać do dzisiaj. Obiekt ten wzniesiono w I połowie XIX wieku. Najstarsza część dworu (prawe skrzydło) została rozbudowana w latach 70. XIX wieku. Jej efektem było dodanie wieży (funkcja widokowa i komunikacyjna) oraz skrzydła lewego. W II połowie XIX wieku dwór ten był w posiadaniu Walentego Sikorskiego. Na początku XX wieku dwór i fragment folwarku kupił Antoni Charemza; w czasie okupacji mieszkał tu urzędnik niemiecki Herman Berent. W 1945 roku miał tu siedzibę warsztat samochodowy . W latach 60. obiekt został upaństwowiony, utworzono tu kilka mieszkań, sklep i klubokawiarnię. Od tego czasu stopniowo popadał w ruinę. Rozebrano portyk od północnej strony, wnętrza zostały zdewastowane. Zlikwidowano lub przekształcono zabudowania folwarczne. Ucierpiał także park, który wycięto, stawy osuszono.

(za www.dworypalace.travel.pl)

Niedawno wyprowadzono ze zrujnowanego obiektu ostatnich mieszkańców, co prawdopodobnie przypieczętuje jego losy.