Zespół pałacowo-parkowy tworzą: pałac z oficynami, bastionowe fortyfikacje, park, wozownia, Kurhan powstańców, fontanna, glorieta.

W 1570 r, dobra pilickie od Jana Pileckiego kupił Filip Padniewski dla swego brata, kasztelana oświęcimskiego Wojciecha, który rozpoczął budowę pałacu w Pilicy i w 1620 r. przeniósł się tu ze Smolenia. Budowla Padniewskiego mogła być zlokalizowana w miejscu wcześniejszego obiektu o nieznanej jeszcze funkcji. Odsłonięto jego fundamenty w czasie niedawno prowadzonych badań. Pałac Padniewskiego był budowany w stylu renesansowym. Budowę kontynuował kolejny właściciel, Jerzy Zbaraski. Z jego inicjatywy w pierwszej poł. XVII w. powstała w Pilicy budowla w kształcie włoskiej willi z arkadowym portykiem i największym w Polsce wnętrzem budowli tego typu. Po Zbaraskich właścicielem Pilicy został Konstanty Wiśniowiecki, później Warszycki.

Sam obiekt mieszkalny nie miał charakteru obronnego. W 1655 r. fortyfikację razem z willą zdobyły wojska szwedzkie, ale Warszycki wkrótce ją odebrał. Kolejna właścicielka Pilicy (1 poł. XVII w.), Maria z Wesselów królewiczowa Sobieska, żona króla Jana III rozpoczęła przebudowę pałacu. Dzieło to kontynuował jej bratanek, Teodor Wessel, który założył też 10-hekarowy park na wzór francuski. Kolejnych przeróbek dokonali w 1853 r. Christian August Moes i w 1876 r. - Leon Epstein. Ten ostatni obłożył część fortyfikacji wykładzinami z cegły i ozdobił eklektycznymi wieżyczkami. W latach 1906-1945 pałac należał do rodziny Arkuszewskich.

Tuż po wojnie mieścił się tu dom dziecka, a w latach 1957-1985 Państwowy Młodzieżowy Zakład Wychowawczy. Od 1985 r. trwa remont połączony z badaniami archeologicznymi przynoszącymi istotne odkrycia.