W drugiej połowie XVII wieku, na miejscu modrzewiowego dworu, który spłonął podczas potopu szwedzkiego kasztelan krakowski Stanisław Warszycki wzniósł, w stylu polskiego baroku pałac. Była to piętrowa budowla zwieńczona spadzistym dachem, krytym gontem.
Do ogrodu prowadziły drewniane, kolebkowe drzwi z XVIII wieku natomiast do sieni oraz do przedsionka miały półkoliste zwieńczenia. Pałac posiadał piwnice złożone z dwóch komór, pomiędzy którymi było pomieszczenie sklepieniami kolebkowymi z lunetami. Na piętrze, nad sienią o półkolistych arkadach na obrzeżach znajdował się salon. Komnaty pałacu były zdobione malowidłami al. Fresco i drogocennymi makatami, a okna na piętrze posiadały profilowane uszate obramienia. Na pamiątkę pobytu Króla Jana III Sobieskiego (26 lipca 1683 r.) w pałacu istniały trzy pokoje królewskie. W jednym z nich znajdował się piec obłożony kaflami przedstawiającymi króla na koniu. Ponadto 12 marca 1734 r. zmierzając do Częstochowy, w pałacu nocował August III Sas. W 1870r. we Włodowicach osiadł Michał Poleski i to dzięki niemu Włodowice zyskały nazwę „Aten Olkuskich”. Poleski w pałacu urządził bibliotekę liczącą przeszło 10 tysięcy tomów i archiwów starych cennych dokumentów oraz kolekcję minerałów i okazów flory. Założył prywatną wyższą szkołę ogrodniczą, a przy niej laboratorium. Chcąc zapoznać się z kolekcją minerałów i okazami paleontologicznymi do pałacu licznie przybywali profesorowie z różnych krajów.