Pierwsze wzmianki o zamku pochodzą z 1348 r. Pozostawał on własnością królewską do ok. 1396 r., kiedy to otrzymał go rycerz Klemens z Moskorzewa wsławiony obroną zamku w Wilnie. Jako że zamek stoi na górze zwanej Kamieniec, Moskorzewscy przyjęli nazwisko Kamienieccy. To stąd pochodzi pierwszy hetman wielki koronny w historii Polski – Mikołaj Kamieniecki (1460 – 1515)
W 1530 r. Kamienieccy odsprzedają część zamku Sewerynowi Bonerowi. Jego córka wyszła za mąż za syna wojewody lubelskiego Firleja i odtąd Firlejowie stają się właścicielami tej części zamku.
W 1601 r. Kamienieccy sprzedają także zamek wysoki. Jego nowymi właścicielami stają się Skotniccy. Ci przebudowują dach na zamku wysokim w taki sposób, że wody opadowe odprowadzają Firlejom na dziedziniec. To powoduje wieloletni konflikt zakończony małżeństwem w obrębie zwaśnionych rodzin, a historia waśni stała się podstawą do napisania przez Aleksandra Fredrę jego najlepszej i najbardziej znanej komedii „Zemsta”.
W kolejnych latach właścicielami zamku były rodziny Stadnickich, Scypion del Campo, Kalinowskich i Jabłonowskich. Jako że córka hrabiego Jabłonowskiego Zofia wyszła za mąż za Aleksandra Fredrę i wniosła mu w posagu archiwum zamkowe, pisarz trafił na dokumenty opisujące konflikt pomiędzy Skotnickimi i Firlejami i stąd wziął się pomysł na „Zemstę”.
Kiedy córka Zofii i Aleksandra wyszła za mąż za hrabiego Szeptyckiego, a siostra Aleksandra za pana Starowieyskiego, zamek wysoki przypadł Starowieyskim (m.in. błogosławiony Stanisław Starowieyski zamęczony w Dachau) , a średni Szeptyckim (m.in. generał Stanisław Szeptycki).
Trzeba wspomnieć, że na przestrzeni wieków zamek odwiedzili m.in. królowie Kazimierz Wielki, Władysław Jagiełło, Jan Kazimierz oraz król węgierski Zapola.
Obecnie zabezpieczone ruiny stanowią muzeum.