Biskup krakowski Iwo Odrowąż osadzając Kanoników Regularnych NMP w powstającym w 1221r klasztorze w Mstowie, oddał im w posiadanie wieś Żyrkowice. Król Władysław Łokietek w 1327 r. w dniu Oczyszczenia NMP dokonał zamiany z ojcem Janem prepozytem klasztoru w Mstowie za część Włodowic będących własnością klasztoru Kanoników, dał im wsie: Skarżyce i Morsko z Komornikami (L. B. II 216 III 158). Z późniejszych opisów dowiadujemy się, że wieś w połowie XV w. miała 7 zagrodników z rolą, na których ciążył obowiązek oddawania po 1 fertonie, 2 koguty i 20 jaj rocznie. Wszyscy posiadający rolę płacili biskupowi krakowskiemu dziesięcinę snopową i konopną, zaś folwarczni dawali dziesięcinę roczną, przemienni w jednym roku biskupowi krakowskiemu, a w następnym klasztorowi we Mstowie. Skarżyce od niepamiętnych czasów należały do parafii kromołowskiej. Przy wieży obronnej w Skarżycach istniała kaplica, w której kapelanem był zakonnik mstowski ojciec Bartłomiej, wspomagający proboszcza kromołowskiego, a w szczególności w okresie świąt i uroczystości odpustowych, obchodzonych w kościele p.w. św. Mikołaja w Kromołowie.W połowie XVI w. Seweryn Bonar (kasztelan i bankier królewski, starosta rabsztyński i właściciel Ogrodzieńca przejął w drodze kupna Kromołów od dziedzica Stanisława Kromołowskiego (1524). Po jego śmierci (1549) majątkiem nieletnich synów: Jakuba Fryderyka i Seweryna zarządzała wdowa Jadwiga Bonarowa z d. Kościelecka. Kasztelanowa wraz z dziećmi przeszła na kalwinizm, a kościół kromołowski przekazała na zbór kalwiński ( 1552-­97).Oskarżali kasztelanową J. Bonarową, że wprowadziła herezje i sprofanowała kościół w Kromołowie. Właściciel Skarżyc Wojciech Giebułtowski herbu "Lis", obserwując jak Bonarowie zakorzeniają kalwinizm w kościele kromołowskim (w okresie ponad 40 lat) i głoszoną herezją zwalczają Trójcę Przenajświętszą, postanowił wybudować kościół dla katolików ku czci Trójcy Przenajświętszej. Kościół bowiem ufundowany został w 1583r przez Dziedzica Skarżyc Mikołaja Brzeskiego. W budowie kościoła wykorzystano istniejącą w Skarżycach od XII w. wieżę obronną i przy niej kaplicę z XIV w. Rozbudowany kościół konsekrowano w 1598 r. więcej