Budynek spichlerza usytuowany pomiędzy bulwarem Piłsudskiego i ul. Szpichlerną wzniesiony została w 1842 r. w miejscu, w którym już od XVI w. istniały drewniane spichrze zbożowe. W spichlerzu magazynowane było zboże i inne towary sypkie transportowane Wisłą. Tuż po powstaniu styczniowym budynek czasowo był miejscem więzienia osób podejrzanych o udział w wystąpieniach przeciwko carskiej władzy.

W 1990 r. budynek został przekazany Muzeum Ziemi Kujawskiej i Dobrzyńskiej. Po remoncie spichlerz służy jako magazyn zbiorów muzealnych.