Zamek w Elblągu powstał w 1237 roku po zdobyciu tych ziem przez zakon krzyżacki na Pomezanach, jako zabezpieczenie granicy w czasie konfliktu z Pogezanami. Zgodnie z jego przekazem bracia zakonni rozpoczęli wojnę z Pogezanami od spławienia materiałów do budowy zamku, na łąkę w pobliżu miejsca, gdzie rzeka Elbląg wpada do Zalewu Wiślanego. Oryginalna twierdza miała jednak zostać zniszczona przez Prusów, a następnie odbudowana już po zakończeniu walk. Zgodnie z przekazem Piotra z Dusburga materiał na budowę zamku przygotowano zawczasu w Marienwerder. Średniowieczne teksty twierdzą także, że od razu ziemno-drewnianą fortecę zasilono także cywilnymi osadnikami z Lubeki.

W każdym razie już w 1238 roku niedaleko od fortecy miał powstać klasztor dominikanów, a w latach 1239–1240 rozpoczęła się budowa nowego zamku, tym razem z cegły i z kamienia. Prace nad murowaną twierdzą trwały do roku 1242 lub też do 1260. Elbląg miał stać się rezydencją wielkiego mistrza zakonu krzyżackiego, wobec czego zaplanowano również budowę bardzo dużego jak na owe czasy kościoła św. Andrzeja. W kościele znalazły się relikwie Krzyża Prawdziwego, podarowane w roku 1232 Hermannowi von Salza przez cesarza rzymskiego (w dziewięć lat później papież Grzegorz IX przyznał dziesięciodniowy odpust zupełny każdemu krzyżowcowi, który odwiedzi relikwie krzyża na elbląskim zamku). Cywilne podgrodzie jeszcze w 1240 roku miało otrzymać miejskie prawo lubeckie, jednak jego zatwierdzenie przez zakon nastąpiło dopiero w sześć lat później. Z tego okresu zachowała się również pieczęć miejska Elbląga, najstarsza z zachowanych pieczęci miast hanzeatyckich, przedstawiająca statek pod pełnymi żaglami, a także odkopane już w XXI wieku fundamenty części wczesnych domów mieszczańskich i zakładów produkcyjnych. Do końca stulecia miasto nawiązało kontakty handlowe z Francją i Anglią.

W XIII wieku rozrastający się zamek i osada służyły państwu Zakonu krzyżackiego jako baza wypadowa podczas podboju plemion pogańskich Warmii. W latach 1251–1309 zamek, na kórym odbywały się obrady kapituły krajowej Zakonu, służył też za de facto polityczną stolicę państwa. Stracił taką pozycję w 1309 roku z chwilą przeniesienia siedziby wielkiego mistrza zakonu do Malborka. Mimo to pozostał jednym z najważniejszych zamków w państwie, ponieważ był siedzibą Wielkiego szpitalnika. Na miejscu pozostała również jedna z trzech mennic w państwie krzyżackim.

W 1386 roku na zamku na stałe stacjonowało 152 braci zakonnych ze sługami.

W trakcie Wielkiej Wojny ZAkonu z Królestwem Polskim i Litwą zamek w Elblągu został zajęty przez sprzyjających Polsce mieszkańców. Pełnię władzy zyskała wówczas Rada Miejska, a miasto złożyło hołd królowi Polski Władysławowi Jagielle w dniu 22 lipca 1410 r. Gdy jednak wojska polsko-litewskie wycofały się z zajętych terenów, załoga krzyżacka powróciła, we wrześniu tego samego roku.

W 1454 roku dążące do niezależności miasto rozpoczęło proces mający na celu likwidację kontrolującego go zamku. Po wybuchu ogólnokrajowego powstania Związku Pruskiego przeciwko Krzyżakom, w dniu 6 lutego krzyżacki zamek został zaatakowany. Zajęto go po sześciu dniach (załodze pozwolono odejść do Malborka) i z rozkazu Rady Starego Miasta zaczęto rozbiórkę. Przez następne sto lat zamek pozostawał w stanie ruiny, ale pewne jego fragmenty (mury obronne, baszty i kilka budynków) została w całości rozebranych dopiero w końcu XVIII wieku. Do dzisiaj przetrwały tylko szczątki urządzeń obronnych obiektu. Część zabudowy podzamcza jeszcze w XV wieku władze miasta przekazały Zakonowi Brygidek, w rękach których pozostały do 1520 roku. Piętnaście lat później budynki te stały się siedzibą Gimnazjum Elbląskiego (współcześnie siedzibę w nich ma Muzeum w Elblągu).

Do czasów obecnych zachowały się pozostałości północnego Podzamcza, w tym piwnice, XIV wieczny browar, niewielkie fragment murów i baszty. Na piwnicach zachodniego skrzydła zamku znajduje się budynek z 1521 posiadający skromne, renesansowe formy. Przebudowany w 1599 początkowo pełnił funkcję klasztoru Brygidek, a następnie gimnazjum, a obecnie muzeum. Przed budynkiem relikt zamku wysokiego w formie kolumny

Ulica Wapienna, przecina dawny teren zamku krzyżackiego, potem położona na obszarze pomiędzy fosami, była zagospodarowywana od początku XVII w. Powstawały tu budynki produkcyjno-gospodarcze: farbiarnia, cukrownia, wapiennik, słodownie (już w 1648r.) czy założona w 1809 r. fabryka tabaki Augusta Friedricha Jebensa. W 1838 r. w budynku tym urządzono gimnazjum (Wyższa Szkoła Miejska), a bezpośrednio przed wojną mieściła się tu szkoła zawodowa. Budynek ten zachował się i dziś mieści się w nim bursa. Pod koniec XIX w. pojawiły się także kamienice mieszkalne, jednak ulica zachowała swój peryferyjny charakter.