Na terenie cmentarza parafialnego w Bydlinie znajduje się murowana kaplica. Została ona wzniesiona na miejscu starej pustelni. Kaplica stała już tu przy końcu wieku XVIII. Rozbudowana została w roku 1884 przez ks. A. Paprockiego, który został pochowany pod jej posadzką.
W ołtarzu znajduje się figura Matki Boskiej z Dzieciątkiem z pierwszej połowy XV wieku, przeniesiona z dawnej pustelni. W aktach kościoła parafialnego znaleźć można spis cudów za pośrednictwem M. B. w cudownej figurze doznanych, prowadzony od roku 1764.
Wewnątrz kaplicy znajdują się także posąg św. Jana Nepomucena na rokokowym postumencie, oraz rzeźba Chrystusa Frasobliwego.