W 1382 roku, a także na mocy decyzji Władysława Jagiełły w 1391 roku, gród przejął książę mazowiecki Janusz I Starszy jako wiano swojej żony Danuty Anny. Jak wynika ze wspomnianej decyzji w której napisano "terram nostram Drohiczensen, Melnyk, Surasz, Byelsko ac omnibus villis in eisdem districtubus" zamek był centrum administracyjnym dla najbliższej okolicy. Przed 1420 rokiem prawdopodobnie książę Witold ufundował w dolnej części zamku katolicki kościół pw. Bożego Ciała, Wniebowzięcia NMP, św. Mikołaja i Wszystkich Świętych. Charakter obronny dolnej części zamku nadano prawdopodobnie dopiero w XV wieku, być może w czasów posiadania go w latach 1430-1444 przez księcia mazowieckiego Bolesława IV warszawskiego, od którego zamek kupił król Kazimierz IV Jagiellończyk. Powstał wtedy wał drewniano-ziemny o grubości około 3 metrów na kamiennej ławie z wieżą od strony północnej. Na pozostałościach tego wału znajduje się obecnie wschodnia część kościoła św. Trójcy. Zamek górny znajdował się od zachodu w wyższej partii góry i jego głównym budynkiem była kamienica wyposażona w dwie baszty. Oba człony oddzielała wieża, w której znajdowały się wrota. W 1486 roku na zamku przebywał Kazimierz Jagiellończyk, a 18 września 1501 roku w oczekiwaniu na koronę polską przybył na zamek Aleksander Jagiellończyk na czele orszaku 1400 ludzi. 23 października na zamku podpisano unię mielnicką między Królestwem Polskim i Wielkim Księstwem Litewskim, a w dniu 6 listopada król udał się do Krakowa na koronację. Aleksander przybywał też na zamku w 1503 i 1504 roku.

W 1506 roku na zamku na koronę polską oczekiwał Zygmunt Stary. Ponownie na zamku przebywał w 1513 roku i mieszkał w nim miesiąc. W czasach panowania Zygmunta Starego w latach 40. XVI wieku zamek przebudowano na rezydencję w stylu renesansowym, przedkładając cechy reprezentacyjne nad obronne. Pracami kierował być może starosta mielnicki Nikodem Janowicz Świecko herbu Dąbrowa. Wieża wjazdowa na zamek niski była murowana, a w części południowo-zachodniej zamku dolnego zbudowano dwukomorowy piec. W tym też okresie nadsypano plateau części wzgórza w kierunku północnym i wschodnim, poszerzając obszar zajmowany przez zamek dolny i niwelując starszy wał. W południowo-wschodniej części poszerzonego wzgórza powstał nowy dom zamkowy. Wieża na zamku górnym, pierwotnie miała trzy kondygnacje i wieżyczkę, ganek wychodzący na dziedziniec. Druga kondygnacja była połączona z dwoma wychodzącymi poza lico basztami. Na dziedzińcu znajdowało się więzienie określane jako "izba czarna". W 1545 na zamku więzieni w niej byli kniaziowie moskiewscy: Fiedor Owczyna, Jendrej Palecki, Michałko Oboleński. Po rozpoczęciu prac modernizacyjnych w izbie wielkiej wieży na zamku górnym umieszczono renesansowy piec kaflowy z dwiema wieżyczkami, wmontowano kasetonowy sufit i weneckie okna z herbami królewskimi, a do 1551 roku rozebrano baszty oraz wieżę drewnianą broniącą przejazdu z zamku niskiego na wysoki, na jej miejscu wzniesiono nowy murowany budynek mieszkalny.

Pomiędzy rokiem 1551 a 1560 zamek spłonął i pozostał z niego tylko kościół i wieża wjazdowa. W 1560 roku istniał już jednak na zamku dolnym nowy 3-izbowy dwór starosty Jarosza Koryckiego, jednak zamek nie odzyskał już później wcześniejszej rangi.

Zamek podczas Potopu

Kolejne zniszczenia miały miejsce w maju 1657 roku podczas potopu szwedzkiego, gdy wojska siedmiogrodzkie Jerzego II Rakoczego spaliły zamek, gotycki kościół na zamku dolnym i miasto. Po odbudowie kościoła zmieniono jego wezwanie na św. Trójcy jednak zamek pozostał już ruiną, na którego terenie znajdował się już tylko dwór starosty. Kościół w 1851 roku był opuszczony, a po powstaniu styczniowym, od 1871 r. funkcjonował krótko jako cerkiew, lecz po pożarze z 1915 roku w czasie I wojny światowej i zniszczeniu w 1940 r. zakrystii (funkcjonującej jako kaplica) nie został odbudowany.

Po Powstaniu styczniowym około 1865 roku miejsce zamku górnego zostało przez zaborców rosyjskich nadsypane o co najmniej sześć metrów w celu posadowienia niewielkiej kapliczki o znaczeniu propagandowym, co zmieniło całkowicie pierwotną sytuację terenową.