Zamek zbudowano przypuszczalnie na polecenie króla Kazimierza Wielkiego, który często przebywał tu po 1360 roku aż dziewięć razy wystawiając na nim dokumenty państwowe. W okresie od stycznia 1355 do września 1356 osadzona tu była oddalona żona króla, Adelajda Heska. Kronikarz Jan Długosz napisał: "Wspomniana przeto królowa Polski Adelajda, która była strzeżona jak wygnanka w zbudowanym przez króla Kazimierza Wielkiego z bardzo pięknej, wypalonej cegły zamku w Żarnowcu". Nie wspomniał jednak o zamku kronikarz Janko z Czarnkowa, który stworzył listę zamków Kazimierza, więc jedyna informacja o Kazimierzu jako fundatorze zamku pochodzi od Długosza. Oprócz Kazimierza Wielkiego, z zamku korzystał również król Władysław Jagiełło, który był na nim 20 razy. W czasach Jagiełły wydłużono do 66 metrów główny dom zamkowy. Zamek został zniszczony w 1524 roku w czasie pożaru, gdy zamek był w posiadaniu starosty żarnowieckiego Andrzeja Gnoińskiego. W 1775 roku na zamku wybuchł pożar. Lustracja z 1789 informuje już wyłącznie o zniszczonych budynkach. Na przełomie XVIII i XIX wieku zamek ostatecznie rozebrano.

W latach 1993–1994 Jerzy Augustyniak przeprowadził na miejscu zamczyska badania archeologiczne - odsłonięto m.in. fundamenty narożnej wieży o wymiarach 9 x 10 metrów, którą wiąże się z najstarszą fazą zamku XIV-XV wiecznego. Zamek znajdował się na wyspie otoczonej fosą zasilaną wodami Pilicy i Uniejówki i miał wymiary około 105 na 125 m. W narożnikach otaczającego go muru znajdowały się czworoboczne wieże, jednak ich dokładna liczba nie jest znana. Po zachodniej stronie mieścił się budynek mieszkalny o wymiarach 13,40 x 49,0 m, prawdopodobnie dwukondygnacyjny. W budynku tym była sala królewska i kaplica. Pierwotnym budulcem były wapień i cegła. W skład wewnętrznej zabudowy wchodziły również drewiane budowle.