Okoliczności budowy zamku położonego na prawym brzegu Wisły nie są do końca jasne. Około 1350 roku książę dobrzyński Władysław wystawił dokument w castrum w Bobrownikach, ale śladów tego obiektu nie znalezionio. Obecnie istniejący zamek przypuszczalnie zbudowali Krzyżacy pomiędzy latami 1392-1404.  Na mocy pokoju w Raciążku od 1404 roku zamek był w rękach polskich, ale w latach 1409-1411 zamek znajdował się w rękach Krzyżaków. Po zakończeniu Wielkiej wojny z Zakonem stał się polską warownią graniczną z państwem krzyżackim. Na rozkaz Władysława Jagiełły zamek został bardzo rozbudowany, jednak już w 1466 r. stracił swoje znaczenie militarne i stał się siedzibą starosty. Zamek był wielokrotnie niszczony. Najpierw z niewiadomych przyczyn w latach 1627-1628 główny budynek zamku pozbawiony był dachu, a następnie został zdewastowany przez Szwedów. W drugiej połowie XVIII w. był już tak zniszczony, że nie nadawał się nawet na magazyn akt sądowych, a w XIX w. część zamku rozebrano.

Do 1820 r. warownia znajdowała się na prawym brzegu Wisły. Później rzeka stworzyła odnogę, odcinając zamek od lądu. W ten sposób znalazł się on na wyspie. Budowla "powróciła" na ląd na początku lat 80-tych XX w., kiedy to zasypano dziką odnogę rzeki. Do dziś jednak mury zagrożone są wylewami Wisły. Za