Dwór należał m.in. do Rzewuskich, a od 1907 roku do Tekli z Łopacińskich Konarskiej. We dworze w Topoli mieszkali m.in. znany historyk prof. Stefan Kieniewicz z rodziną, a także syn pisarza Ksawerego Pruszyńskiego - Aleksander. Budynek ucierpiał mocno podczas bombardowania w styczniu 1945 roku, potem był dewastowany przez okoliczną ludność. Po odbudowie służył m.in. jako biurowiec dla POM-u. Obecnie parterowy budynek z poddaszem ma prywatnych właścicieli. Kilkaset metrów na północ od niego stoi drewniany kościółek Wniebowzięcia NMP. Przeniesiony został wraz z dwoma barokowymi ołtarzami w 1973 roku z Kazimierzy Małej, gdzie był wzniesiony w pierwszej połowie XIX wieku.