Pierwotny gród został zniszczony w okresie wojen krzyżackich w 1329 roku. W jego miejsce wzniesiono zamek. Powstał on z inicjatywy biskupa kujawskiego Maciej z Gołańczy i był rozbudowywany przez jego następców. Zamek był otoczony murem. Wjeżdżało się do niego mostem od wschodniej strony (tj. od strony, gdzie dziś stoi katedra włocławska), prowadzącym przez dwie bramy, pierwszą drewnianą, a drugą murowaną. Pierwotny most był położony zbyt nisko i często był zalewany przez wodę, dlatego został biskup Stanisław Karnkowski wzniósł wyższy i położony na kamiennych filarach. Biskup ten kazał też wymurować budynki leżące w obszarze zamku oraz wystawić w jednym z narożników wieżę zwieńczoną hełmem. Przy każdej z bram stał jednopiętrowy budynek, w którym mieściły się m.in. izby gospodarcze i mieszkanie odźwiernego. Przy bramach były też mniejsze furty.

Ulica Zamcza we Włocławku w przeszłości była dłuższa niż obecnie i prowadziła właśnie do zamku włocławskiego. Również z dawnym zamkiem wiąże się nazwa dawnej wsi i przedmieścia, a obecnie dzielnicy Włocławka - Zazamcze, czyli tereny leżące za zamkiem. Na Zazamczu mieściły się też niektóre z zabudowań zarządzanych przez włodarzy zamku, tj, stajnie i spichlerze. Było to możliwe, bo przedmieście było połączone z zamkiem drewnianym mostem

Murowany pałac usytuowany został w miejscu grodu obronnego z X-XIII wieku, z wykorzystaniem murów zamku książęcego z XIV wieku, a później biskupiego do XVIII wieku. Całkowitą przebudowę przeszedł w 1861 roku i na jej skutek nabrał charakteru klasycystycznej rezydencji. W 1925 roku został odbudowany (po pożarze w 1920 roku) i przeznaczony na siedzibę kurii i rezydencję biskupa. W trakcie badań archeologicznych w latach 1989-1993 odkryto m.in. zamkowy mur obwodowy od strony zachodniej i relikty baszty znanej z rysunku A. Boota z 1632 roku.

Obiekt wpisany do rejestru zabytków.