W 1288 za panowania księcia Leszka Czarnego przystąpiono do odbudowy spalonego wczesniej drewnianego kościoła. Był to najprawdopodobniej tylko kościół filialny pod wezwaniem Wszystkich świętych. Kościół ten przetrwał ok. 150 lat. Nie był jednak wymieniony w Spisie świętopietrza z roku 1326. Wiadomo jedynie, że parafię w Kozłowie erygowano dopiero w roku 1381. Po raz pierwszy modrzewiowy kościół w Kozłowie wzmiankowany jest pod rokiem 1435 (1438). Jako fundator świątyni podawany w źródłach był Mszczuj herbu Lis. Zgodnie z wynikami badań archeologicznych drewniany zamek i kościół Lisów spłonęły pod koniec XV w. 

W 1901 ks. Marian Rykowski rozebrał kolejny istniejący w tym miejscu, stary drewniany kościół i rozpoczęto budowę nowego, murowanego kościoła. W roku 1902 kościół ten został konsekrowany pod wezwaniem "Matki Boskiej Nieustającej Pomocy". W 1912 zmieniono na "Podwyższenia Świętego Krzyża".