W centrum Żarnowa znajduje się średniowieczne grodzisko funkcjonujące od końca X do połowy XIII wieku[2].



Na początku było ono oddzielone od wzgórza kościelnego ogrodzeniem z potężną zabudową. Stał tam zamek kasztelana żarnowskiego. Archeologowie twierdzili, że była to drewniano-ziemna budowla obronna. Wokół grodu wykopana była głęboka fosa.



Współcześnie grodzisko to nosi nazwę Góra Szwedzka. Nazwa związana jest z Bitwą pod Żarnowem, do której doszło 16 września 1655 r. między wojskami króla Jana Kazimierza a armią szwedzką).





Na samym szczycie Szwedzkiej Góry w dniu 3 maja 1923 roku postawiono pomnik z piaskowca (z godłem polskim, krzyżem i aniołem pokoju) dla uczczenia bojowników walczących o wolność Ojczyzny w latach 1831, 1848, 1863, 1918, 1920 (data zatarta podczas profanacji pomnika) i 1929. Co roku w dniach 3 maja i 11 listopada żarnowscy mieszkańcy oddają hołd poległym za wolność ojczyzny.