Nowy Zamek w Żywcu "“ czyli klasycystyczny pałac zaprojektowany z polecenia arcyksięcia Albrechta przez Karola Pietschkę, był kilkakrotnie przebudowywany. W latach 1893"“1895 powstało nowe skrzydło pokryte szklanym dachem, w którym urządzono sypialnie i pokoje gościnne. Kolejnej rozbudowy dokonano, gdy dobra żywieckie przejął po zmarłym wuju Karolu Stefanie. Wtedy to dobudowano pawilon na przedłużenie skrzydła południowego, w którym na piętrze mieściła się sala balowa, o wymiarach 10,5x18,0 m, tzw. lustrzana, ponieważ była wypełniona taflami lustrzanymi. Ostatniej rozbudowy dokonano w 1911, dobudowując trzyosiowy ryzalit z dwoma bocznymi balkonami, zwieńczony klasycznym tympanonem z herbem Habsburgów.
Urządzenie wnętrz powierzono artystom krakowskim: Tadeuszowi Stryjeńskiemu i Franciszkowi Mączyńskiemu. Arcyksiążę Karol Stefan był miłośnikiem sztuki, za jego sprawą powstał na zamku zbiór obrazów malarzy polskich i europejskich. Pracował dla niego m.in. Wojciech Kossak. Słynna była też kolekcja sreber o wadze około 500 kg zgromadzona na zamku, wywieziona w czasie wojny przez Niemców.
Po wojnie w pałacu została założona szkoła działająca w nim do dziś - Zespół Szkół Drzewnych i Leśnych, technikum zajmujące czołowe miejsce wśród szkół średnich Powiatu Żywieckiego.
W latach 90. XX w. do zamku powróciła córka arcyksięcia Karola Olbrachta, księżna Maria Krystyna Altenburg, dla której urządzono mieszkanie w jednym ze skrzydeł dawnej rezydencji.
