Zamek powstał prawdopodobnie w II poł. XIV wieku z inicjatywy króla Kazimierza Wielkiego. Niektórzy badacze w tym B. Guerquin uważali, że wcześniej istniał w tym miejscu gród zakonu braci dobrzyńskich, ale badania źródeł dokonane m.in. przez L. Kajzera nie potwierdziły tego.

-1363 r. - książę gniewkowski Władysław Biały zastawił swą dzielnicę ze Złotorią Kazimierzowi Wielkiemu. Przyjmuje się że król rozpoczął wtedy budowę zamku, choć nie wykluczone że zrobił to na terytorium podległego mu księstwa jeszcze wcześniej

-1373 r. - zamek na krótko zajął Władysław Biały pragnący objąć tron po śmierci Kazimierza Wielkiego, przy poparciu m.in. Janka z Czarnkowa, archidiakona gnieźnieńskiego i podkanclerzego koronnego, znanego kronikarza. Książę widząc mobilizację wojsk z rozkazu króla Ludwika Wegierskiego, poddał się bez walki i złożył mu hołd

- 1375 r. - Władysław, który oczekiwał na zamku w Drezdenku na jakiś gest ze strony króla stracił cierpliwość i ponownie zajął zamek podstępem podczas dnia Wniebowzięcia NMP, kompletnie upiwszy wcześniej załogę warowni łącznie z dowódcą. Tym razem, rok później wojsko starosty wielkopolskiego siłą musiało odbierać mu zdobycz. Zamek bronił się dwa miesiące, po czym poddano go staroście brzeskiemu Bartoszowi z Wezenborga. W walkach tych śmiertelną ranę odniósł wnuk Kazimierza Wielkiego - Kaźko Słupski

-1379 - Ludwik Wegierski przekazał Złotorię popierającemu go księciu Władysławowi Opolczykowi, a ten 13 lat później zastawił ją wraz z przyległymi wsiami Krzyżakom za sumę 6632 florenów węgierskich i nigdy nie wykupił. Rok później zdardziecko dodał do tego całą ziemię dobrzyńską za 50 tys florenów, w ten sposób znaczny obszar został oderwany od Polski

Impreza w czasie oblężenia

Niecodzienny przebieg miało oblężenie zamku przez wojska krzyżackie wielkiego mistrza Ulricha von Jungingena. Nakazał on rozstawić wielki stół u stóp zamku i suto zastawić, a następnie sprowadzić "niewiasty i dziewice z Torunia". Jedząc, pijąc i bawiąc się obserwował wraz z 12 dostojnikami zakonnymi jak jego wojsko zdobywa warownię i wycina jej załogę.

-1404 r. - po pokoju w Raciążku zamek powrócił do Polski

-1409 r. - zamek zdobyli, a następnie zniszczyli Krzyżacy pod dowództwem Ulricha von Jungingena

-1411 r. - na mocy I pokoju toruńskiego Złotoria powróciła do Polski

-1420 r. - cesarz Zygmunt Luksemburski wydał wyrok rozjemczy między Polską a zakonem, wg którego Krzyżacy musieli zapłacić 25 tys. florenów na odbudowę zamku w Złotorii. Niegdy tego jednak nie zrobili

-XV w. - nie jest jasne czy zamek został odbudowany, jednak z faktu istnienia funkcji burgrabiego złotoryjskiego można przypuszczac że tak. Prawdopodobnie kres warowni nastąpił po wojnie trzynastoletniej i II pokoju toruńskim w 1466 r. , gdy straciła strategiczne polożenie, choć jeszcze w 1628 szlachta kujawska podkreślała na sejmiku jej militarne znaczenie

-1765 i 1789 r. - ówczesne lustracje mówią o zamku w całkowitej ruinie

-1777 r. - siedziba starostwa złotoryjskiego mieściła się już w Krobii Górnej

-1807 r. podczas wojen napoleońskich ruiny zostały zbombardowane

-1890 r. - do Wisły osunęły się mury warowni od strony południowo - wschodniej