I faza gotycka
Według zapisków Jana Długosza zamek został wybudowany na polecenie Kazimierza Wielkiego w latach 40. XIV wieku. Był on, podobnie jak znajdujący się powyżej okrągły stołp, zbudowany z ogólnodostępnego w okolicy wapienia. Początkowo zamek miał kształt zbliżony do owalu, który wyznaczyły grube na dwa metry mury z blankami. Na wewnętrznym dziedzińcu prawdopodobnie znajdowały się drewniane zabudowania.
Zamek w Kazimierzu pełnił przede wszystkim funkcję administracyjną, polegającą na sprawowaniu kontroli władczej i fiskalnej przez mającego na nim swoją siedzibę przedstawiciela władcy. Stanowił raczej obiekt zlokalizowany przy największym skupisku demograficznym i handlowym (Kazimierz był ważnym miastem portowym). Miał głównie zapewniać sprawne funkcjonowanie państwa, a nie nieco iluzoryczną obronę granic, jak przyjmuje się w starszej literaturze. W roku 1359 wymieniony został pierwszy burgrabia zamku w Kazimierzu, a następnie jego dzierżawca, Wilczek z Biórkowa herbu Topór, podstoli i kasztelan sandomierski.
II faza gotycka
Do końca XV wieku wójtostwo kazimierskie i wąwolnickie z dzierżawą obu zamków królewskich dożywotnio dzierżawiły kolejne pokolenia możnego rodu Ostrowskich herbu Rawicz z Ostrowa, właścicieli zamku w Bochotnicy. Wtedy też, w 1 połowie XV wieku, zbudowano gotycki Dom Wielki od strony miasta (południowej), a do Domu Wielkiego w pobliżu naroża wschodniego dostawiono od południa wieżę[4]. Ówczesny wygląd zamku opisuje inwentarz z 1509 roku.
Faza renesansowa
W 1509 roku Zygmunt I Stary sprzedał Mikołajowi Firlejowi z Dąbrowicy prawa do dzierżawy zamku. Po 1519 roku Mikołaj Firlej po otrzymaniu w dożywocie starostwa kazimierskiego z prawem dziedziczenia zainicjował rozbudowę zamku. Mikołaj Firlej, jako starosta kazimierski i dzierżawca zamku ufundował od strony Wisły czterokondygnacyjną wieżę mieszkalno-obronną z przyporami. Już po śmierci Mikołaja, jego następcy zbudowali na wieży attykę oraz nadbudowano południowe skrzydło mieszkalne od strony miasta o jedną kondygnację. Zastąpiono też północno-wschodni kamienny mur obronny regularnym o prostokątnym narysie. Nieco później na północno-wschodnim narożniku zbudowano wieżyczkę od strony drogi na zamek; zachowała się jej dolna część kamienna i ceglana w wątku gotyckim ze strzelnicą. Około 1577 prace na zamku prowadził Santi Gucci poprzez dostawienia do dawnego domu w narożu północno-zachodnim trzykondygnacyjnego renesansowego członu, którego mur północny oparto na gotyckiej przyporze. Wkrótce do północnego muru wieży Firlejowskiej, obok działobitni, dobudowano parterowy budynek gospodarczy przylegający na zewnątrz do kazimierzowskiego muru.
W roku 1655 podczas Potopu zamek został zajęty przez wojska szwedzkie, a Karol X Gustaw przebywał na zamku, który ostatecznie wraz z miastem zniszczono w 1657 roku przez siedmiogrodzkie oddziały księcia Jerzego Rakoczego. Podczas odbudowy uzupełniono zabudowę od strony zachodniej oraz wystawiono schody zewnętrzne na naroże dziedzińca.
W 1663 roku w Kazimierzu Dolnym wybuchł pożar pochłaniający większość miasta, w tym i zamek dolny. Około 1700 roku Szwedzi powtórnie zrujnowali zamek, ale nie na tyle by w 1707 roku nie mógł się w nim zatrzymać na dwa miesiące król Karol XII. Kolejny raz zamek ograbiono i zniszczono w 1712 roku.
W 1809 roku władze austriackie ze względów bezpieczeństwa wysadziły grożącą zawaleniem się część murów wieży wraz z attyką.
18 marca 1831, w czasie bitwy pod Kazimierzem Dolnym powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany.
