Dwór Miejski zbudowano w latach 1616-19 według projektu Jana Strakowskiego. Zespół budynków stajni oraz wozowni zespolono z istniejącymi trzema basztami z XIV w. zaś o dawnym pochodzeniu tej budowli, świadczy widoczna przy Baszcie Narożnej rzeźba konia.

Z początkiem XX wieku umiejscowiono tutaj straż pożarną. W marcu 1945 roku zespół Dworu Miejskiego został silnie zniszczony. W 1959 roku rozpoczęto odbudowę a obiekt przekazano na potrzeby Związku Harcerstwa Polskiego, który służy tej organizacji po dziś dzień.