Kościół św. Jakuba stoi w centrum wsi na niewydatnym wzniesieniu. Pierwszy kościół w Woliborzu wzmiankowany był w 1384. Na miejscu starszego z 1514 r. stanął obecny ok. 1770 roku w stylu barokowo-klasycystyczna. Wyposażenie świątyni pochodzi głównie z XVIII w., m.in. architektoniczny ołtarz główny z belkowaniem dźwiganym przez dwie pary korynckich kolumn. Na uwagę zasługuje również ambona w formie łodzi, umieszczona na prawej ścianie nawy, nieliczne dzieło tego typu w kraju, a na Ziemi Kłodzkiej trzecie po międzyleskim i bożkowskim.