Pierwszy zamek drewniany, znajdujący się w strefie obwarowań grodu, był wielokrotnie niszczony do XIV w. Wówczas zniszczony został przez księcia Janusza Mazowieckiego w 1382, a w 1383 przez Jagiełłę. Odbudowany w czasach panowania Jagiellonów, uległ z czasem przekształceniu w siedzibę administracyjną i sądową tracąc znaczenie militarne.

W 1612 roku o istnieniu zamku w Drohiczynie wzmiankował wizytator klasztoru franciszkanów, który napisał „miasto drewniane bez murów obronnych, prócz zamku”. Prawdopodobnie na zamku mieścił się sąd grodzki i była to siedziba królewskiego starosty grodowego. Dwór ten został zniszczony podczas potopu szwedzkiego i na skutek braku opieki oraz osuwania się góry do rzeki uległ całkowitej zagładzie. Jedynie w pamięci mieszkańców Drohiczyna zachowało się wspomnienie o stojącym tu niewielkiej kwadratowej budowli, która mieściła tzw. górną wieżę i dolną wieżę, czyli areszt cywilny i więzienie kryminalne dla szlachty. W 1788 r. wieża ta została rozebrana. Pozostałościami rozebranej konstrukcji są obrabiane ciosy kamienne znajdujące się na dnie dawnej fosy.

Do lat 80. XX wieku było jeszcze widoczne wejście do lochów znajdujące się w zboczu góry, pod wałem. W 1383 r. podczas zdobywania zamku przez Jagiełłę, według słów Stryjkowskiego, Rusini będący w zamku w służbie mazowieckiej, podłożyli nocą ogień pod drewnianych obwarowań i uciekli na stronę litewską. Wojewoda Sasin wraz z resztkami mazowieckiej osady zamku został wzięty do niewoli. Pozostałość przejścia podziemnego tak opisywał Zygmunt Gloger:

Góra po starożytnym zamku składa się z twardej, gliniastej opoki, osypującej się ciągle od strony Bugu, który ją u podnóża nurtem swoim podmywa i zniszczył już w znacznej części. W połowie jej wysokości od strony rzeki dostrzegliśmy duży otwór. Po spadzistej, a po deszczu nader trudnej do wyjścia pochyłości, dostaliśmy się do tego otworu, który wprowadził nas do ciekawej pieczary, wykutej w opoce. Pieczarę stanowił prosty, wąski na trzy kroki korytarz, długi na kroków kilkanaście. W obu jego bokach znajdowały się po dwie przeciwległe sobie nisze, czyli wgłębienia, co nadawało lochowi podobieństwo do wnętrza miniaturowego kościółka, z czterema kapliczkami. Pieczara ta wszakże w czasach dawnych, gdy na górze stał zamek (niewątpliwie drewniany) była najpewniej więzieniem, lub skarbcem, a nie świątynią. W każdym razie musiała być znacznie dłuższą, bo zaczynała się w części góry, już dziś nie istniejącej, ta zaś część pieczary, która obecnie pozostała, stanowiła tylko zakończenie, do którego woda z deszczów naniosła sporo ziemi zewnętrznej. Niszczenie góry od strony Bugu odbywa się powoli, bo opoka gliniasta, z której się góra składa, jest tak twarda, że na ścianach pieczary, znaleźliśmy nazwiska zwiedzających, zapisane tu przed laty dwudziestu. Jeżeli zważymy, że pomimo takiej oporności opoki, tak znaczna część góry, może połowa, podmytą i zniszczoną już została, a na pozostałym jej wierzchołku niema już miejsca na zamek, to musimy przyjść do przekonania, że tylko za bardzo dawnych czasów, zamek warowny mógł być na górze Drohickiej założony w tem miejscu. Podanie miejscowe, będące zwykłą baśnią ludową, do wszystkich naszych zamków przywiązaną, powiada, że góra ta usypaną, była rękoma jeńców wojennych, że we wnętrzu swojem zawiera podziemia pełne skarbów, że podziemia te pełne łączyły niegdyś zamek Drohicki z klasztorem Franciszkanów, w którego lochach miały znajdować się tajemne drzwi żelazne do tego przejścia na zamek.

Z badań archeologicznych wynika, że wierzchołek Góry Zamkowej został sztucznie usypany. Natrafiono także na fragment kamiennej konstrukcji, która może być pozostałością najstarszego zamku. Archeolodzy ustalili, że dawne grodzisko otoczone było od strony miasta fosą, wałem i palisadą. Podczas wykopalisk natknięto się także na fundamenty wieży zamkowej z XVI wieku, która została rozebrana w 1757 r., bo była podmywana przez rzekę. Ustawiono ją na rynku miejskim. Moment jej przeniesienia potwierdzają znalezione przez nas monety z czasów Augusta III i Augusta Poniatowskiego.

Obecnie masyw Góry Zamkowej stanowi tylko małą część góry mieszczącej kiedyś zabudowania zamkowe. Na szczycie Góry Zamkowej znajduje się obelisk, wzniesiony w 1928 roku w 10. rocznicę odzyskania niepodległości.