Park przypałacowy. Niewiele niestety informacji zachowało się z okresu powstawania tego obiektu. Najwcześniejsze dane z XVIII w.,  pochodzą z opisów dóbr "Padniewscy - Barscy..." zawierających wiarygodne informacje. Wcześniejsze fazy należy traktować jako hipotezy.

Założenia parkowe z geometrycznym układem kwater wyznaczonych na bazie kwadratu, mogło zostać w pełni urządzone dopiero po zakończeniu prac przy fortyfikacjach bastionowych. 

Niewielkie,w stosunku do dzisiejszej powierzchni, pierwotne fortyfikacje mogły zawierać założenie ogrodowe od strony zachodniej, o czym świadczy obecność w tym czasie ulokowanego w ścianie zachodniej wyjścia z sali reprezentacyjnej pałacu. Północno-wschodni narożnik zajmowała prawdopodobnie część gospodarcza a narożnik północno-zachodni ogród owocowy. Opis pilickiego pałacu z początku XVII w., mówi o "...ogrodzie sposobem włoskim urządzonym" co sugeruje istnienie wewnątrz fortyfikacji, mających już dzisiejszy kształt ogrodu kwaterowego, być może opadającego ku południowi w formie dwóch tarasów. Oś pałacu wyznaczała przebieg alei środkowej. Wzdłuż dłuższych boków fortyfikacji powstały szpalery drzew. Za czasów Marii z Wesslów nastąpiła generalna przebudowa założenia ogrodowego. Funkcje gospodarczo-usługowe zostały skupione w północnej części obiektu. Po stronie północno-zachodniej powstał ogród owocowo-warzywny. Stronę północno-wschodnią przeznaczono na podwórze z zabudową gospodarczą. Pomiędzy tymi obiektami powstał gospodarczy dziedziniec wjazdowy. Od reprezentacyjnej bramy południowej biegła aleja dojazdowa obsadzona grabami. Pomiędzy budynkiem pałacu, a stojącymi po bokach oficynami usytuowano dziedziniec z kamienną kolumną pośrodku. W kierunku południowym rozciagał się uporządkowany geometrycznie  ogród z kwaterami na tarasach. Po obu stronach założenia ogrodowego posadzono szpalery czterorzędowych alei lipowych zakończonych od południa kolistymi altanami z drzew. Na zachodnim wale fortyfikacji powstała dodatkowa aleja lipowa, a wzdłuż wschodniej granicy części gospodarczej nasadzono szpaler klonowo-grabowo-lipowy. Kolejny właściciel - Christian August Moes, dokonał uporządkowania ogrodu zaniedabnego od czasu kiedy posiadłości Teodora Wessla stały się przedmiotem sądowych sporów. Układ ogrodu został  zachowany. Zlikwidowano jedynie kamienną kolumnę na osi środkowej. Na górnym tarasie ogrodu również zachowana podział na cztery kwatery. Dolny taras zaadaptowano na ozdobny trawnik. Zmieniono układ komunikacyjny biegnący od bramy południowej. W związku z powstaniem trawnika biegnąca dotychczas środkiem aleja dojazdowa straciła swoją funkcję, którą przejęły dwie drogi biegnące wzdłuż lipowych szpalerów po wschodniej i zachodniej stronie założenia ogrodowego. Był to układ komunikacyjny zbliżony do dzisiejszego. Kolejny właściciel - Leon Epstein, zachował barokowy układ założenia parkowego. W miejscu zlikwidowanej kolumny powstał owalny basen. Górny taras ogrodu  przekształcono w trawnik obasadzony pojedynczymi egzemplarzami krzewów ozdobnych. Na jego obrzeżach zasadzono skupiska wysokich ozdobnych drzew. Całość otoczono żeliwnym parkanem. Po obu stronach głównej drogi dojazdowej pomiędzy południową bramą, a dolnym tarasem powstały rozległe polany otoczone skupiskami ozdobnych drzew. Po zachodniej stronie utworzono ciąg spacerowy od kapliczki Matki Boskiej do kopca widokowego na bastionie północno-zachodnim, biegnący aleją lipową wzdłuż zachodniego wału fortyfikacji. Poza założeniem parkowym, na północ od fortyfikacji ustawiono kopiec powstańców roku 1863. W okresie międzywojennym na dolnym tarasie ulokowano kort tenisowy z basenem, w który (po zmianach na fontannę) wstawiono rzeźbę słonia, a wzdłuż wewnętrznych podziałów kwater na górnym tarasie posadzono rzędy wysokopiennych róż.

W latach sześćdziesiątych miejsce słonia zajęły w fontannie sowy wyrzeźbione przez B.Chromego.

Zespół pałacowo-parkowy tworzą: pałac z oficynami, bastionowe fortyfikacje, park, wozownia, Kurhan powstańców, fontanna, glorieta.

W 1570 r, dobra pilickie od Jana Pileckiego kupił Filip Padniewski dla swego brata, kasztelana oświęcimskiego Wojciecha, który rozpoczął budowę pałacu w Pilicy i w 1620 r. przeniósł się tu ze Smolenia. Budowla Padniewskiego mogła być zlokalizowana w miejscu wcześniejszego obiektu o nieznanej jeszcze funkcji. Odsłonięto jego fundamenty w czasie niedawno prowadzonych badań. Pałac Padniewskiego był budowany w stylu renesansowym. Budowę kontynuował kolejny właściciel, Jerzy Zbaraski. Z jego inicjatywy w pierwszej poł. XVII w. powstała w Pilicy budowla w kształcie włoskiej willi z arkadowym portykiem i największym w Polsce wnętrzem budowli tego typu. Po Zbaraskich właścicielem Pilicy został Konstanty Wiśniowiecki, później Warszycki.

Sam obiekt mieszkalny nie miał charakteru obronnego. W 1655 r. fortyfikację razem z willą zdobyły wojska szwedzkie, ale Warszycki wkrótce ją odebrał. Kolejna właścicielka Pilicy (1 poł. XVII w.), Maria z Wesselów królewiczowa Sobieska, żona króla Jana III rozpoczęła przebudowę pałacu. Dzieło to kontynuował jej bratanek, Teodor Wessel, który założył też 10-hekarowy park na wzór francuski. Kolejnych przeróbek dokonali w 1853 r. Christian August Moes i w 1876 r. - Leon Epstein. Ten ostatni obłożył część fortyfikacji wykładzinami z cegły i ozdobił eklektycznymi wieżyczkami. W latach 1906-1945 pałac należał do rodziny Arkuszewskich.

Tuż po wojnie mieścił się tu dom dziecka, a w latach 1957-1985 Państwowy Młodzieżowy Zakład Wychowawczy. Od 1985 r. trwa remont połączony z badaniami archeologicznymi przynoszącymi istotne odkrycia.