Zamek średniowieczny

Pierwszy zamek z kamienia wapiennego zbudowano na planie owalu na skarpie nad rzeką, kilkanaście metrów od obecnie istniejącego pałacu. Była ta główna siedzibą księcia Wacława w nowo utworzonym w 1445 roku księstwie zatorskim. W budowie lub rozbudowie wcześniej istniejącego zamku pomagali mu finansowo jego bracia. W 1477 roku opisano zamek w związku z podziałem księstwa i przypuszczalnie była to wtedy jeszcze dość skromna budowla. Niewykluczone, że zaobserwowana podczas wykopalisk archeologicznych XV wieczna rozbudowa zamku o nowy podpiwniczony budynek, była związana z adaptacją zamku na siedzibę nowego księcia zatorskiego. W drugiej połowie XVI wieku zamek leżał w powiecie śląskim województwa krakowskiego. W 1494 roku księstwo zatorskie wraz z zamkiem kupił król Polski Jan Olbracht za 80 tys. złotych węgierskich.

Pałac barokowy

Przypuszczalnie pod koniec XVI wieku lub na początku XVII wieku w odległości kilkunastu metrów od starego zamku kamiennego zbudowano pałac na planie prostokąta, a niefunkcjonalny już stary średniowieczny zamek książęcy rozebrano na materiał budowlany. W 1778 roku pałac został kupiony przez Duninów i częściowo przebudowany z dobudową drugiego piętra. Kolejni prywatni właściciele pałacu i dóbr zatorskich to: Poniatowscy, Tyszkiewiczowie, Wąsowiczowie, Potoccy.

Pałac neogotycki

W 1836 roku na zlecenie Anny z Tyszkiewiczów Potockiej Wąsowiczowej pałac przebudowano według projektu Franciszka Marii Lanciego, nadając mu formę rezydencji w stylu romantycznego neogotyku. W roku 1945 został przez władze Polski Ludowej bezprawnie odebrany prawowitym właścicielom. Od 1946 roku był siedzibą Instytutu Zootechniki, ostatnio Rybackiego Zakładu Doświadczalnego. W latach 1964–1973 gruntownie odrestaurowany. Na parterze bogato zdobione sale: myśliwska, złota, paprociowa, bluszczowa. Po procesie spadkowym na początku 2013 roku zamek został odzyskany przez ród Potockich.

O neogotyckim charakterze świadczą blanki na wieży i bramie, portal wejściowy oraz dekoracje przy gzymsie i oknach. Przy pałacu stoi także neogotycka oficyna. Wnętrza posiadają cenne malowidła i sztukaterie w stylu pompejańskim wykonane przez Włocha Liattiego i jego pomocnika Kajetana Golińskiego. Do niedawna, do zwiedzania udostępnione były 4 sale na parterze: złota, myśliwska, paprociowa i bluszczowa, a resztę użytkował Rybacki Zakład Doświadczalny. Uwagę zwracają w tych salach piękne sklepienia, które nie zostały zniszczone przez Niemców. W sali złotej natrafiono nawet na ślady 14-karatowego złota. Z bogatego wyposażenia pałacu zachowały się tylko marmurowe kominki i również marmurowa płyta z napisem tureckim odnoszącym się do budowy meczetu w 1716 r. z fundacji wielkiego wezyra Alego Paszy znaleziona we wsi Dworki.