Pałac został zbudowany z inicjatywy arcybiskupa Wojciecha Baranowskiego w latach 1609-1619. Pełnił rolę nowej rezydencji biskupów gnieźnieńskich po tym, jak wyprowadzili się oni ze stojącego obok zamku. Wybudowano pałac w stylu renesansowym, a wokół niego później budynki gospodarcze, park, oranżerię, które dały początek istniejącej do dzisiaj osadzie pałacowej. Do Skierniewic przenieśli się prymasi z zamku w Łowiczu, który został spalony przez Szwedów w drugiej połowie XVII wieku.
Około roku 1762, według projektu Efraima Schroegera, dokonano przebudowy pałacu w stylu późnobarokowym. Pierwotny ogród włoski, pełen drzew owocowych i winorośli, został przebudowany. Dodano sztuczne elementy, jak np. kaskady, groty, czy altanki. W latach 1779-1780 wzniesiono imponującą bramę pałacową z kordegardami (ul. Sienkiewicza). Budowla nawiązująca do klasycyzmu zaprojektowana została przez Efraima Schreogera. Brama ma kształt łuku z dwoma półkolistymi skrzydłami z portykami, mieszczącymi kordegardy.
W pałacu prymasi sprawowali władzę w kraju pod nieobecność króla, lub w okresie bezkrólewia. W obiekcie tym zapadło wiele ważnych dla kraju decyzji. Odbywały się zjazdy biskupów, magnatów i szlachty. W 1795 roku zamieszkał i przez wiele lat tworzył ostatni z rezydujących w Skierniewicach prymasów, poeta i wybitny pisarz doby oświecenia Ignacy Krasicki.
Miasto przeżyło upadek podczas rozbiorów. W roku 1820 car Aleksander podarował włości arcybiskupie ze Skierniewicami swojemu bratu - Wielkiemu Księciu Konstantemu. Po jego śmierci ziemie te przeszły w posiadanie jego żony - Joanny Grudzińskiej. W roku 1831 Joanna umiera i całe księstwo Łowickie od tej pory należy do carów rosyjskich. W roku 1884 odbył się tu zjazd cesarzy Rosji, Niemiec i Austro-Węgier.
W XIX stuleciu miała miejsce kolejna przebudowa pałacu. Wzniesiono wtedy dobudówki i wieże. Rezydencji nadano cechy neorenesansowe. Obniżona została attyka wraz z dachem, oraz dostawiono portyk. Przebudowano również XVIII-wieczną kuchnię pałacową. Klasycystyczny budynek również przekształcono na neorenesans. Zmieniono też jego funkcje- przeznaczony został na oranżerię i połączony z pałacem pergolą. Autorem całego projektu był Monighetti. Przekształcono też zupełnie otoczenie pałacu – ogród zmieniono na styl angielski.
Przebudowano inne obiekty zespołu:
- obora z XVIII stulecia przekształcona została na wozownię, a w XX wieku, w zgodzie z postępem technologicznym i rozwojem motoryzacji – na garaże. Budynek wzniesiono na planie prostokąta. Częściowo jest jedno, a częściowo dwukondygnacyjny. Podczas przebudowy zatracił cechy stylowe.
- trzy oficyny przebudowano w XIX wieku. Zatraciły swój klasycystyczny styl.
W XIX wieku powstały też nowe obiekty:
- holendernia wzniesiona z przeznaczeniem na oborę, w XX wieku przekształcona na cele mieszkalne
- willa Aleksandria również należy do osady pałacowej, chociaż oddalona jest od głównego kompleksu zabudowań. Położona jest w osobnej części parki, po drugiej stronie torów kolejowych. Ta eklektyczna budowla, zwana też pałacykiem myśliwskim „Sebadiany” wzniesiona została w 1841 roku według projektu Adama Idzikowskiego. Willa powstała na planie prostokąta z ryzalitem od wschodu. Od strony północnej znajduje się portyk i balkon. W XX wieku od zachodu dostawiono przybudówkę. Dziś mieści siedzibę Instytutu Sadownictwa i Kwiaciarstwa.
Przy ulicy Konstytucji 3 maja, przy bramie wjazdowej, uwagę zwraca wieża ciśnień przy kordegardzie.
Po I wojnie światowej w pałacu umieszczono Szkołę Główną Gospodarstwa Wiejskiego w Warszawie. Powstała tu stacja doświadczalna : Zakład Warzywnictwa, sad pomologiczny, internaty dla studentów i regionalne Muzeum Przyrodnicze.
W roku 1939, podczas wojny obronnej, miasto uległo częściowemu zniszczeniu. W roku 1951 w pałacu umieszczono Instytut Sadownictwa, który dziś nazywa się Instytutem Sadownictwa i Kwiaciarstwa. W 1964 roku powstał tu Instytut Warzywnictwa, którego głównym obiektem jest pałac prymasowski. W tym samym czasie też przywrócono rezydencji cechy późnobarokowe. Zmieniono wygląd elewacji, oraz rozebrano portyk i kartusz.
Na uwagę zasługują też wnętrza pałacu. Najcenniejsza jest kaplica kryta kopułą, z bogatym wyposażeniem, oraz malowidłami. W znajdującej się na piętrze sali Pod Jutrzenką zachował się plafon z roku 1835 z podobizną księżnej łowickiej – Joanny Grudzińskiej. W klatce schodowej oglądać można portrety z XVIII i XIX stulecia.