Na tym miejscu w 1654 r. starosta książęcy Krzysztof Albrecht von Schönaich rozpoczął budowę okazałego zamku. Przez wiele lat służył on jako siedziba kolejnych starostów książęcych. Kiedy w XVIII wieku zamek zaczął podupadać, po likwidacji urzędu starostów książęcych, przekazano go stadninie państwowej.

W 1822 zamek spłonął i nie został odbudowany. Pod koniec XIX w. ruiny zamku zostały usunięte, a w ich miejscu w 1897 stanął budynek starostwa powiatowego. Obecnie w budynku mieści się Zespół Szkół Technicznych. Na tym terenie znajdują się pozostałości z czasów przed lokacją miasta (1560), relikty zamku z okresu XVI-XVIII w., fragmenty umocnień ziemnych, bastionowych, nowożytnych i budynek dawnego starostwa. Ten ostatni jest ciekawym przykładem publicznej budowli neogotyckiej terenu dawnych Prus Wschodnich. Warto zwrócić uwagę na styl architektoniczny budynku. To neogotyk, faza strukturalna, wyraz siedzib typu „zamkowego”, o czym świadczą ostre łuki w okiennicach i sklepienie krzyżowo-żebrowe w wejściu do budynku.