Murowany barokowy dwór postawił w I połowie XVII w. baron Jerzy Leopold Skarbiński, dziedzic Rudzicy, Landeka, Grodźca i Stonawy w miejscu istniejącego od ok. 1300 r. drewnianego dworu obronnego. Pod budynkiem rozbudowano rozległą sieć tuneli oraz lochy. Jedno z przejść podziemnych wychodziło w lesie, tuż przy obecnej kaplicy św.Wendelina - dziś jest ono zasypane ze względów bezpieczeństwa. W XVIII w. Rudzicę dziedziczył Ksawery Poniński. W 1802 r. mały majątek wraz z lasami kupił książe Albrecht Habsburg, następnie po I wojnie światowej zarządzał tu Otto Kubik, a później dzierżawca Karol Grabowski z Rostowa. Po II wojnie światowej nastąpiła konfiskata majątku na rzecz PGR-u. W kolejnych latach urządzono tu ośrodek zdrowia, a obecnie mieszkania.