Przed wojną (1932-1939 r.) mieściło się w tym budynku pierwsze w Polsce Muzeum Morskie założone przez hr Stanisława Ledóchowskiego. Po wojnie ocalała część zbiorów tego muzeum trafiła do Muzeum Narodowego w Szczecinie, a w 2017 r. potomkowie hr S. Ledóchowskiego przekazali znajdujące się w ich posiadaniu inne cenne obiekty tego muzeum do Narodowego Muzeum Morskiego w Gdańsku. Hrabia Stanisław Ledóchowski należał do Ligi Morskiej i Kolonialnej. Jego syna Edwarda zastrzelił w dniu 7 sierpnia 1944 r. samozwańczy kpt. Sęp (Izydor Sosnowski).