Początkiem istnienia warowni była drewniana fortyfikacja założona przez Hermana Balka podczas krucjaty w 1232 r. W Starogrodzie powstało jedno z pierwszych komturstw, a budowa murowanego zamku rozpoczęła się najpewniej koło połowy XIII wieku, jednak pełną swoją postać zamek murowany przybrał w wyniku prac budowlanych przeprowadzonych w końcu XIII i na początku XIV wieku.

W grudniu 1242 roku dowodzony przez brata zakonnego Teodoryka z Bernheim oddział krzyżacki napadł na pomorski gród w Sartowicach skąd zrabował relikwię głowy św. Barbary, którą następnie Krzyżacy umieścili w kaplicy zamku w Starogrodzie. Wkrótce Starogród stał się popularnym ośrodkiem pielgrzymkowym z licznymi odpustami nadawanymi przez papieży. Do relikwii znajdujących się w Starogrodzie pielgrzymowali m.in. król czeski Wacław oraz Anna Światosławowna, żona wielkiego księcia litewskiego Witolda Kiejstutowicza, kardynałowie włoscy i węgierscy, hrabiowie Anglii. W 1244 roku został wymieniony we wzmiance pisemnej pierwszy kontur starogrodzki – Eberhard. W 1410 roku na krótki czas po bitwie pod Grunwaldem zamek zajęły wojska polskie króla Władysława Jagiełły. Zamek był siedzibą komtura do 1454 roku, gdy po wybuchu wojny trzynastoletniej został opanowany przez oddziały propolskiego Związku Pruskiego. Wtedy też relikwie św. Barbary zostały wywiezione przez Krzyżaków na zamek w Malborku. W 1457 roku zamek w Starogrodzie zajęły w zastaw wojska zaciężne walczącego po stronie krzyżackiej Bernarda Szumborskiego i nie zwróciły pomimo postanowień kończącego wojnę II pokoju toruńskiego w 1466 roku. W 1478 roku wielki mistrz Marcin Truchsess von Wetzhausen podjął pertraktacje z następcami Szumborskiego w sprawie wykupu i przekazania Krzyżakom zajętych w zastaw dóbr, dzięki czemu Krzyżacy w czerwcu ponownie przejęli zamek co m.in. doprowadziło do wybuchu tzw. Wojny popiej z Polską. W 1479 roku rycerstwo polskie pod dowództwem Piotra Dunina, Jana Białego i Jana Zielezińskiego i wsparciu Gdańska pokonało wojska krzyżackie, a sam wielki mistrz musiał złożyć hołd królowi polskiemu i zwrócić Starogród i inne zamki. Od tego czasu zamek stał się siedzibą starostów królewskich. Odbudowa zniszczonego w wyniku działań wojennych zamku, nastąpiła w 1495 roku z inicjatywy króla Jana Olbrachta. Na mocy decyzji Aleksandra Jagiellończyka z 1505 roku zamek był w posiadaniu biskupów chełmińskich. W 1623 roku zatrzymał się na zamku król Zygmunt III Waza z małżonką Konstancją Habsburżanką oraz całym towarzyszącym im dworem. Zamek uległ zniszczeniu w czasie wojen szwedzkich w XVII wieku. W latach 1682-1693 przeprowadzono odbudowę zamku za sprawą biskupa Kazimierza Jana Opalińskiego. W 1772 r. ponownie popadł w ruinę, a z 1777 r. pochodzi wzmianka o jego znacznym zniszczeniu. Wkrótce został sprzedany i pod koniec XVIII i w XIX wieku rozebrany na materiał budowlany. W roku 1963 i 2017 archeolodzy przeprowadzili na zamku prace wykopaliskowe.