Drewniany dwór w Surhowie istniał już w XVIII w., został on zbudowany prawdopodobnie na przełomie XVII / XVIII. Klasycystyczny pałac murowany powstał na początku XIX wieku. Został wzniesiony przez hr. Cieszkowskiego i jego żonę Zofię z Kickich.
Po wojnie o dworku pisze się: dwór państwa Skolimowskich. Kiedy i jak Skolimowscy weszli w jego posiadanie tego dworu? Być może pomocna tu będzie lista właścicieli Surhowa umieszczona na stronie Parafii Surhów. Z niej wynikałoby, że przed Pawłem Wincentym Cieszkowskim i jego żoną Zofią z Kickich właścicielem Surhowa był Stanisław Kicki. O tej postaci nic nie wiem, ojcem Zofii był August Kicki. Od 1865 roku właścicielem Surhowa był August Cieszkowski, syn Pawła i Zofii. Po nim znów jego syn - też August - do roku 1915.
W 1915 roku właścicielem Surhowa został Jan Tyszkiewicz. Wg informacji zamieszczonych na stronie Karoliny, Marii i Krzysztofa Zdebów Skolimowscy przeprowadzili remont dworu zniszczonego w trakcie działań wojennych w I wojnie światowej. Znaczyłoby to, że Jan Tyszkiewicz, który był właścicielem majątku do 1930 roku, nie mieszkał we dworze.
O Zygmuncie Skolimowskim dowiedzieć się można, że należał do Towarzystwa Hodowli Konia Arabskiego w Polsce. W latach II wojny światowej dwór ograbiono. Wiadomo że znajdowała się w nim bogata biblioteka oraz obrazy Kossaka - to pasuje do miłośnika koni. Jednak Zygmunt Skolimowski na pewno nie był znany tylko z hodowli koni.
Przez krótki okres po wojnie - do 1946 r. - w dworze mieścił się szkoleniowy ośrodek dla ociemniałych inwalidów wojennych.