W 1881 r. Józef Pierdzioch ustawił przy drodze z Ujścia do Piły kapliczkę Matki Boskiej, którą Niemcy w okresie II wojny światowej rozebrali, a w 1946 r. mieszkańcy ponownie ją wybudowali na starych fundamentach wg projektu ludowego rzeźbiarza Antoniego Gładycha z Morzewa. W tylnej części kapliczki trzy tablice upamiętniające mieszkańców Byszek poległych w wojnach światowych oraz zamordowanych w obozach.