Pierwszy zamek został zbudowany w XV wieku i związany był przez wieku z wpływowym rodem Firlejów, którzy uznawali go za swoją główną rodową siedzibę. Od XVI wieku rezydencja miała już zapewne cechy nie tylko obronne, ale reprezentacyjne. Pierwsza znacząca rozbudowa zamku rozpoczęła się ok. 1506 roku i związana była z twórcą potęgi rodu Filejów – Mikołajem Firlejem (zm. 1526), późniejszym kasztelanem krakowskim i hetmanem wielkim koronnym. Budowa była kontynuowana przez wojewodę lubelskiego Piotra Firleja, który zbudował także w bezpośredniej bliskości zamku kaplicę św. Mikołaja z muru pruskiego. Ponownie zamek rozbudowano około 1620 roku poprzez budowę nowego skrzydła północnego, tworząc już założenie nie zamkowe, ale pałacowe. Całość zwieńczona była attyką. Po obu stronach elewacji znajdowały się dwie dwukondygnacyjne, sześcioboczne wieże, z których jedna zachowała się do dzisiaj. Przypuszczalnei w jednej znajdowała się biblioteka, a w drugiej kaplica. Od strony wschodniej zbudowano reprezentacyjną galerię arkadową. Wejście w formie ryzalitu znajdowało się w środkowej części pałacu, podkreślonej poprzez powiększenie filarów i łuków.
Pałac zaczął ulegać rujnacji już w końcu XVII wieku, gdy Firlejowie zaczęli ubożeć i tracić wpływy polityczne. W 1694 roku sporządzono opis zniszczeń dokonanych w pałacu. Linia Firlejów z Dąbrowicy wygasła wraz ze śmiercią ostatniej przedstawicielki rodu, Marianny Sapieżyny, córki Józefa Firleja.
Dobra przeszły w latach 20-30. XX wieku w ręce zakonu jezuitów, zaś w czasie II wojny światowej stały się miejscem przetrzymywania więźniów na terenie obozu SS, który powstał po konfiskacie dóbr jezuickich. W latach 1952–1953 na terenie ruin zamku przeprowadzono prace inwentaryzacyjne, wzbogacone o badania terenowe. W latach 1956 - 1958 pokryto dach baszty gontem, a jedna arkada galerii (w przyziemiu) została zrekonstruowana według projektu inż. arch. Jana Kontarczyka. W 1964 roku użytkownikiem obiektu był ZBOWiD. W 2 połowie XX wieku obiekt przejęła miejscowa parafia katolicka. Do ruin zamku w latach 90. XX wieku dobudowano nie pasujący do zabytku obiekt mieszczący placówkę Caritas.
Z dawnego pałacu pozostała dziś jedna z narożnych baszt z renesansową dekoracją oraz fragment arkadowej galerii, do której w końcu lat 70. ubiegłego stulecia dobudowano budynek Diecezjalnego Domu Rekolekcyjnego.
