Zamek został zbudowany prawdopodobnie przez księcia Olgierda, który zbudował też zamek w Lidzie. W 1381 roku na zamku przebywał Jagiełło, wygnany przez swojego stryja Kiejstuta, którego następnie w Krewie kazał zamordować w roku 1382. W 1385 roku na zamku podpisano unię Litwy i Polski. W 1391 roku ustanowiono na zamku starostwo. W 1503-1506 roku zamek poważnie zniszczyli Tatarzy. W XVI wieku został opuszczony. W XIX wieku na dziedzińcu wybudowano drewniany ratusz miejski. Zamek bardzo ucierpiał podczas I wojny światowej ponieważ przez 3 lata stał na linii frontu. 21 lipca 1917 roku został prawie całkowicie zburzony przez rosyjski ostrzał artyleryjski. W latach 1929-1930 władze polskie zaczęły prace konserwatorskie. Za czasów sowieckich zamek ulegał zniszczeniu. W 2017 r. rozpoczęto restaurację wieży książęcej[1]. W 2018 r. zainicjowano akcję zbiórki kamieni potrzebnych na odbudowę.
Zamek miał plan nieregularny zbliżony do trapezu z dwiema wieżami kwadratowymi po przekątnej. Mniejsza wieża miała 3 kondygnacje, druga większa o wysokości 25 metrów miała sklepione lochy i 4 kondygnacje. Mury miały grubość ok. 2,5 metra i wysokość 11–12 m.