Okazały gmach został zbudowany w stylu neorenesansowym według projektu architekta Jana Jakuba Gaya, a inwestorem był Bank Polski. Kamień węgielny wmurowano w fundamenty spichlerza 9 lipca 1836 roku. Spichlerz oprócz zadań magazynowych mógł pełnić także funkcje obronne, gdyż na pierwszej kondygnacji zaopatrzony został w otwory przystosowane do prowadzenia ognia artyleryjskiego, a także ognia z broni palnej. Rolę magazynu zbożowego pełnił do 1853 r., kiedy został kupiony przez ówczesne władze wojskowe od Banku Polskiego z przeznaczeniem na magazyn twierdzy Modlin. W międzywojniu spichlerz był siedzibą Komendy Portu Wojennego Modlin, a potem Centralnej i Głównej Składnicy Marynarki Wojennej. Przechowywano w nim między innymi sprzęt saperski, funkcję tę pełnił do wybuchu II wojny światowej. W czasie bombardowania 1939 spichlerz został wypalony w środku przez bomby zapalające, jednak jego grube mury ocalały i w takim stanie dotrwał do końca wojny. Po wojnie na polecenie władz komunistycznych przystąpiono do rozbiórki spichlerza, którą wstrzymał prof. Jan Zachwatowicz, naczelny architekt odbudowujący Warszawę. Niestety zachodnie skrzydło spichlerza zdążono wyburzyć, a odzyskany budulec wykorzystano prawdopodobnie na powojenne naprawy, a według niektórych opinii wykorzystane przez wojsko do różnych celów, także prywatnych.



W 1999 roku spichlerz zagrał rolę Zamku Horeszków w ekranizacji poematu Adama Mickiewicza Pan Tadeusz w reżyserii Andrzeja Wajdy.



W 2010 roku ruina spichlerza została sprzedana przez miasto Nowy Dwór Mazowiecki lokalnemu deweloperowi, który ma plany odbudowania rozebranego zachodniego skrzydła w formie nowoczesnej i stworzenia w nim pięciogwiazdkowego hotelu z centrum konferencyjnym i przystanią.