Przez Kazimierza Wielkiego, zapewne jeszcze przed lokacją miasta, wzniesiony został w Kole zamek stanowiący integralną część wielkiego, realizowanego przez tego władcę przedsięwzięcia, mającego na celu umocnienie granic państwa. W przypadku zamku kolskiego było to zabezpieczenie środkowej Wielkopolski, przede wszystkim przed atakami Krzyżaków. Ważne strategicznie funkcje obronne miasto pełniło przez około 200 lat.W tym okresie zamek pozostawał w zarządzie przedstawicieli władzy królewskiej, a nawet gościł władców. Według przekazów, w 1452 r. Kazimierz Jagiellończyk przyjmował tutaj poselstwo Związku Jaszczurczego. Od około połowy XVI w. rozpoczął się powolny upadek zamku, spowodowany przede wszystkim zmianami w systemie obronnym, jakie nastąpiły po wynalezieniu broni palnej i artylerii. Podług miejscowego podania ostatnim jego rządcą był rotmistrz Ruszkowski zmarły w r. 1597 – napisał Edward Raczyński.

Następnie budowla uległa zniszczeniu podczas najazdu szwedzkiego i od tego czasu zamek w Kole coraz bardziej upadać zaczął aż nareszcie za Augusta III, Sejm Koronacyjny darował go klasztorowi tutejszemu XX Bernardynów, który użyć materiałów jego mieli na odnowienie, czy też wystawienie nowego kościoła. Nie mieli przecież pożytku zakonnicy z tych rozwalin gdy dla trwałości murów, małą liczbę cegieł w całości wydobyć można było. Tak więc solidność gotyckich murów uratowała zamek przed zniszczeniem i dzięki temu pozostałości tej budowli przetrwały do naszych czasów. Zamek zlokalizowany został w znacznym oddaleniu na północny zachód od miasta, na niewielkim wzniesieniu w dolinie Warty, na lewym, południowym brzegu głównego nurtu tej rzeki płynącej dawniej kilkoma odnogami, tworzącej rozlewiska i zakola, które wykorzystane zostały z pewnością przy organizowaniu systemu obronnego. Budowla prezentowała typ regularnego zamku nizinnego. Było to założenie w kształcie prostokąta o wymiarach 55 m x 40 m, wzniesione z cegieł na kamiennych fundamentach, dłuższym bokiem ustawione na osi północny wschód–południowy zachód, otoczone wysokimi murami zwieńczonymi blankami strzelniczymi. W jego południowym narożu, a więc od strony największego zagrożenia, zbudowana została potężna wieża wysuwająca się przed lico murów obwodowych, kwadratowa w przyziemiu i cylindryczna w wyższych partiach. Mieściła ona we wnętrzu przypuszczalnie dwie kondygnacje, ponad więziennymi zapewne lochami piwnic. Przylegający do wieży południowo-zachodni odcinek kurtyny murów wzmocniony został dwoma przyporami w części środkowej oraz narożną przyporą od zachodu.