W 1468  grunty na terenie Podzamcza Włoszczowskiego nabywają Olsztyńscy (lub Oleszeńscy), a w 1511 roku Szafrańcowie herbu Starykoń z Pieskowej Skały. Wówczas to Szafraniec buduje w tym miejscu dwór warowny, który Rawita-Witanowski opisuje następująco: „...był to gmach zbudowany z cegły, w głównym korpusie swoim jednopiętrowy, mający boczne skrzydła parterowe i obszerne sklepione podziemia. Frontem zwrócony do dziedzińca, okolonego po bokach oficynami dla służby i milicji dworskiej, obecnie przerobionych na mieszkanie dziedzica. Tu mieszczą się też stajnie koni pełnej krwi angielskiej, biorących niemal pierwsze nagrody na torach wyścigowych, z zamiłowaniem i znawstwem hodowane przez p. Niemojewskiego". W końcówce XIX w., po zamku została jedynie widoczna do dziś w zarysie fosa – natomiast na tym terenie stanął potężny pałac Niemojewskich, zbliżony wyglądem i układem wnętrz do znajdującego się dziś w ruinie dworu w Olesznie. Obecnie z całego założenia dworskiego za­cho­wa­ły się je­dy­nie dwie dziewiętnastowieczne oficyny (z których jedna, na skutek katastrofalnego remontu, całkiem stra­ci­ła swój pierwotny wygląd), stojące po obu stro­nach kończącej się w tym miejscu ulicy Pod­zam­cze oraz widniejący w dali parkowy starodrzew. 

Miejscowość pozostała w rękach Szafrańców do lat 30. XVII w.