Historia dworu w Ołtarzewie związana jest z wielopokoleniową rodziną Ryxów z sąsiedniego Pilaszkowa, potomków francuskiego emigranta Ferdynanda Ryxa, któremu król Stanisław August Poniatowski za zasługi nadał tytuł starosty piaseczyńskiego oraz herb szlachecki „Pierścień”. Bratanek Ferdynanda, Franciszek, major Wojska Polskiego, podczas Insurekcji Kościuszkowskiej został odznaczony Orderem Virtuti Militari.



W połowie XIX wieku, Bronisław Ryx, wnuk Franciszka osiedlił się przy ,,trakcie poznańskim” w Ołtarzewie. W czasie Powstania Styczniowego majątek został zniszczony i zarekwirowany przez władze carskie, a Bronisław Ryx za udział w powstaniu oraz Tymczasowym Rządzie Narodowym zmuszony został do ponad dwudziestoletniej emigracji. W 1906 roku jego syn, Jerzy, odkupił od administracji rosyjskiej zniszczony dwór, częściowo go odbudował, założył park, przeniósł tu hodowlę roślinną i zwierzęcą z Prażmowa.



Majątek w Ołtarzewie rozkwitł jednak na krótko. W czasie I wojny światowej w 1915 roku został ponownie zniszczony przez cofające się wojska rosyjskie. Tragedii dopełniła w 1919 roku śmierć Andrzeja, który zginął w obronie Lwowa jako ochotnik Legii Akademickiej, (do tej pory, w parku, rośnie dąb przez niego zasadzony).



Kolejne lata to odbudowa posiadłości, którą córka Jerzego Ryxa, Krystyna, wniosła w posagu do małżeństwa z Romanem Olędzkim. Wybuch II wojny światowej zniweczył osiągnięcia Olędzkich.



W 2006 roku, po wielu latach podupadania budynków, zdewastowany dwór nabyli obecni właściciele, którzy go odbudowali i przywrócili do stanu pierwotnego z zachowaniem zniszczonych przez kule, we wrześniu 1939 roku, fragmentów południowej i wschodniej ściany.