Król Władysław Jagiełło wybudował tutaj dwór myśliwski. Pierwsza murowana, późnobarokowa rezydencja powstała w Kozienicach w latach 1778-91 wg projektu architekta Franciszka Placidiego na zamówienie króla Stanisława Augusta Poniatowskiego. Od 1782 roku pracę przy pałacu nadzorował Jan Kanty Fontana, który znacząco wpłynął na kształt ogrodu, wprowadzając większą swobodę do barokowego układu geometrycznego. Kompleks przebudowano w latach 1839-65 dla generała Iwana Dehna, który otrzymał tutejszy majątek od cara. W rekach rodziny Dehnów Kozienice pozostały do 1914 roku.
Największe przeobrażenie pałacu nastąpiło w latach 1896-1900. Specjalnie sprowadzony tu architekt, Franciszek Arveuf nadał wówczas budynkom styl renesansu francuskiego. W dwudziestoleciu międzywojennym obiekt stał się siedzibą instytucji publicznych, m.in.: starostwa i gimnazjum. Tuz po rozpoczęciu II wojny, już w 1939 roku kompleks został spalony przez Niemców, ocalała jedynie lewa oficyna.
W miejscu pałacu zbudowano w latach sześćdziesiątych budynek administracyjny dla władz powiatowych, a w latach dziewięćdziesiątych uzupełniono zespół o prawą oficynę.