Budowę zamku rozpoczął na przełomie XV i XVI wieku, w stylu gotyckim starosta brzeski i kowieński Jerzy Illinicz. Około 1568 mirski zamek na mocy testamentu wnuka Jerzego Illinicza przeszedł w ręce książąt Radziwiłłów, którzy przebudowali go w stylu renesansowym. Wzdłuż wschodnich i północnych ścian zamku powstał pałac. Gipsowe fasady zostały udekorowane wapiennymi portalami, płytami, balkonami i gankami.
12 grudnia 1655 roku zamek zajęli żołnierze słuckiego garnizonu Bogusława Radziwiłła popierającego ówcześnie Szwedów. W 1656 zamek zniszczyli Moskale. Podczas wojny polsko-rosyjskiej, po bitwie pod Połonką w 1660 roku, zamek zdobył Samuel Kmicic. Zamek został zniszczony przez Szwedów w 1706. Odbudowany stał się rezydencją m.in. wojewody wileńskiego Karola Stanisława Radziwiłła, który znany był z wystawnych uczt.
Podczas Powstania kościuszkowskiego po wschodniej stronie zamku doszło do bitwy oddziałów polskich z rosyjskimi znanej jako Bitwa pod Mirem.
W epoce napoleońskiej zamek został opuszczony i częściowo zniszczony. W końcu XIX wieku budowla została ponownie odnowiona i zamieszkana. W 1813 po śmierci Dominika Radziwiłła zamek został przekazany jego córce Stefanii i jej mężowi Ludwigowi zu Sayn-Wittgenstein-Berleburg, a następnie w ręce ich córki Marii, która poślubiła księcia Chlodwiga Hohenlohe-Schillingfurst. Ich syn Maurice Hohenlohe-Schillingfurst sprzedał zamek w 1895 Mikołajowi Światopełk-Mirskiemu, herbu Białynia. W dniu 19 marca 1919 roku bolszewicy zamordowali w ruinach zamku takich polskich działaczy jak: Aleksander Haciski, ksiądz Wincenty Łotarewicz z Iszkołdzi (zwłoki wrzucono do studni zamkowej), Wołodźka i Kurnatowski.
Po odzyskaniu przez Polskę niepodległości i podpisaniu Pokoju ryskiego syn Mikołaja Michał Światopełk-Mirski rozpoczął przebudowę zgodnie z planami Teodora Bursze z l. 1923-1924. Rodzina Światopełk-Mirskich miała w posiadaniu zespół obiektów do 1939.
Po zajęciu Mira przez Niemców w 1941 roku doszło do wymordowania części ludności żydowskiej na terenie parku zamkowego, a w maju 1942 roku Niemcy utworzyli na terenie zamku getto otoczone drutem kolczastym i karabinami maszynowymi. W nocy 9 sierpnia 1942 część młodych Żydów uciekło z zamku do lasu, natomiast pozostali przy życiu zostali zamordowani przez Niemców na terenie zamku w dniu 13 sierpnia 1942 roku[1].
W 2000 roku zamek został wpisany na Listę światowego dziedzictwa UNESCO, w związku z czym zaczęto jego rewaloryzację i odbudowę. Przy tej okazji z trzech stron zamku zrekonstruowano ziemne fortyfikacje bastionowe.