Zbudowany w XIV wieku na polecenie Kazimierza Wielkiego, we wschodniej części miasta, na skarpie nad doliną rzeki Warty. W średniowieczu jeden z największych zamków polskich. Do dziś zachowały się jedynie jego niewielkie pozostałości.
Podczas panowania Ludwika Andegaweńskiego w 1382 roku zamek zajęły oddziały węgierskie - miał to być zastaw na rzecz zięcia królewskiego, kandydata na tron krakowski Zygmunta Luksemburczyka. W 1383 zamek i stacjonujące w nim wojska węgierskie zostały oblężone przez rycerstwo księcia mazowieckiego Siemowita IV, który korzystając z wojny domowej między Grzymalitami i Nałęczami wkroczył do Wielkopolski. Po krótkim oporze załoga węgierska skapitulowała na honorowych warunkach. W czasie tego oblężenia odnotowano po raz pierwszy na ziemiach polskich użycie broni palnej.
Na zamku jedenaście razy przebywał król Kazimierz Wielki i osiemnaście razy król Władysław II Jagiełło. Często też bywał na nim król Kazimierz Jagiellończyk.
Od połowy XV do 1 połowy XVI w., zamek stanowił oprawę wienną (zabezpieczenie posagu) polskich królowych: Zofii Holszańskiej, Elżbiety Rakuszanki i Bony Sforzy, z nadania których trzymali je królewscy starostowie. W I poł. XVI w. rozebrano południowy budynek zamkowy i południową kurtynę od strony klasztoru franciszkanów. Z gmachu tego pozostawiono jedynie północny mur magistralny, który pełnił odtąd funkcję południowego muru obwodowego. Przed 1628-1632 rokiem zamek został wyremontowany przez Adama Sędziwoja Czarnkowskiego – wojewodę łęczyckiego i starostę pyzdrskiego. W 1676 zamek został zniszczony przez pożar. Po pożarze w 1768 zamek został prawie całkowicie rozebrany przez Prusaków podczas budowy więzienia w miejscu wschodniego pałacu królewskiego. W miejscu domu północnego zbudowano spichlerz, a w XX w. na miejscu domu północnego i części wschodniego pałacu wybudowano młyn elektryczny. Po 1959 na miejscu domu zachodniego wybudowano parterowy magazyn zakładów włókienniczych "Dziewiarka".
Pierwotnie gotycki czworoboczny obiekt włączony w obręb murów miejskich. Zbudowany na planie prostokąta o wymiarach 49,5 × 60,5 m z czterema budynkami wokół dziedzińca. Powierzchnia zajęta przez zamek liczyła około 3 000 m². Największym budynkiem był dwutraktowy pałac królewski od wschodu o długości 49,75 m i szerokości 15 m (a z położonym od strony dziedzińca gankiem - 18,4 m). Dom północny oraz południowy miały około 9,5 m szerokości i około 34,75 m długości. Dom zachodni miał wymiary zewnętrzne około 39,25 m × 11 m. Na rogach znajdowały się narożne wieżyczki, w tym wieża latrynowa pomiędzy wschodnim i północnym domem zamkowym. Od strony północno-zachodniego narożnika stała czworokątna wieża o boku ok. 10 m. Z zewnątrz mury wspierały regularne przypory. Ostatnie badania przeprowadzone w latach 2007-2009 przez archeologa Tomasza Olszackiego wskazują, że był to jeden z największych zamków powstałych w Zjednoczonym Królestwie Polskim. Z wyglądu mógł przypominać takie zamki jak Gniew, Człuchów lub zamek wysoki w Malborku.
