Jednokondygnacyjny klasycystyczny dwór na wzgórzu Markwatów wzniesiony został w 1830 r. wg projektu Bogumiła Trennera dla Walentego Milieskiego w miejscu starszego dworku Wielopolskich wzmiankowanego po raz pierwszy w Dziejopisie Żywieckim z 1722 r. Ojciec Walentego, Stanisław, kupił Rychwałd w 1810 r., kiedy zlicytowano państwo ślemieńskie. Prostopadle do dworu stoją dwa parterowe budynki gospodarcze z lat 1831 i 1834 przeznaczone niegdyś na stajnie, wozownie, obory i mieszkania dla służby. Po 1945 r. dwór, dotąd nieprzerwanie należący do Milieskich, znacjonalizowano. Kolejnymi właścicielami byli: Spółdzielnia Iskra z Łodygowic, Stacja Nasiennictwa Krzeszowice, Wojewódzkie Przedsiębiorstwo Komunikacyjne w Katowicach i Kopalnia Budryk w Ornontowicach. W 2002 r. dwór został kupiony przez prywatnego inwestora, który gruntownie go wyremontował i otworzył w nim hotel.