W 1390 roku pod kierunkiem Mikołaja Fellensteina, Krzyżacy zaczęli budować w Bytowie murowany zamek na wzniesieniu w południowo-wschodniej części miasta. Wzniesiono go na planie prostokąta o wymiarach 49x70 m. z kamieni eratycznych i cegły. Przy skrzydle północno-zachodnim postawiono trzypiętrowy, podpiwniczony dom mieszkalny. W budynku tym znajdowały się najważniejsze pomieszczenia, takie jak refektarz, kaplica i mieszkanie prokuratora. Na najwyższej kondygnacji mieściły się magazyny.

Przy skrzydle południowo-zachodnim zbudowano piętrową kuchnię z magazynem żywności. W jej sąsiedztwie znajdowała się studnia. Brama wjazdowa została wzniesiona od strony północno-wschodniej. Przed bramą wjazdową wykopano fosę nad którą przerzucono most zwodzony. W narożnikach skrzydeł postawiono cztery potężne baszty. Warownia pozwalała zastosować do obrony broń palną.

W 1466 roku zamek kupił książę pomorski Eryk II. W 1500 roku otoczono warownię ziemnymi fortyfikacjami i bastejami mogącymi prowadzić ostrzał artyleryjski. W drugiej połowie XVI wieku zamek był w rękach Gryfitów, którzy w latach 1560-70 wybudowali przy skrzydle południowo-wschodnim Dom Książęcy. W XVII wieku w domu średniowiecznym umieszczono piekarnię i browar. Przy kurtynie północno-wschodniej w roku 1623 zbudowano nowy budynek zwany Domem Wdów. Niewielkie zniszczenia przyniosła warowni wojna trzydziestoletnia. Wraz ze śmiercią w 1638 roku ostatniego z Gryfitów, na mocy układu zamek przechodzi w ręce Polski i pełni rolę siedziby starosty.

W czasie wojny polsko-szwedzkiej zamek spłonął. Częściowo odbudowany po przejęciu miasta przez elektora brandenburskiego Fryderyka Wilhelma I. W XIX wieku umieszczono na zamku sąd i więzienie. Pierwsze prace konserwatorskie przeprowadzono w latach 1930-39.
Od marca do czerwca 1945 r. na zamku mieścił się obóz przejściowy NKWD. Ofiarom, które straciły życie w obozie poświęcona jest pamiątkowa tablica na zamku.
Ostatecznie zamek odbudowano z przerwami w latach 1957-62 i 1969-90 umieszczając w nim Muzeum Zachodniokaszubskie oraz hotel z restauracją i bibliotekę.

Źródło: Włodzimierz Jacek Adamski: Zamek w Bytowie