Wieś położona wśród wzgórz zwanych Rzadkowskimi Górami, nioeopodal północnej krawędzi doliny Noteci, przy linii kolejowej Piła-Bydgoszcz i lokalnej drodze Kaczory - Osiek, 14 km na południowy wschód od Piły. Linia kolejowa głębokim jarem schodzi z wysoczyzny w dolinę rzeki. Wieś znana jest od początku XIX wieku.
W parku położonym we wschodniej części wsi znajduje się dwór z połowy XIX wieku wybudowany przez hrabinę Joanne Nepomucenę Grabowska w którym obecnie mieści się szkoła podstawowa i przedszkole. W sąsiedztwie neogotycki spichlerz z XIX wieku. Ciekawą sylwetkę architekoniczną posiada kościół pw. Matki Boskiej Anielskiej powstały ze składek wiernych z całej Polski w 1937 roku.
3 km na wschód od Rzadkowa wznosi się Rzadkowska Góra - 187 m n.p.m., najwyższe wzniesienie Rzadkowskich Gór. Na wzgórzach na skraju doliny Noteci w 1936 roku założono szkołę szybowcową. Do startu szybowców wykorzystywano naturalną konfigurację terenu oraz gumowe liny naciągowe. W czasie okupacji Niemcy szkolili tu swoich pilotów. W 1952 roku szkołę przeniesiono do Strzyżewic koło Leszna. Pozostałością po szkole jest samotny budynek z wieżą obserwacyjną usytuowany na wzgórzu, na południe od wsi, obecnie Dom Pomocy Społecznej.
