Budynek bramny wybudowany prawdopodobnie przez Komorowskich, prowadzący na zamknięty dziedziniec zamkowy, stanowił kluczowy element obronny.

Budowę obiektu przypisuje się książętom oświęcimskim lub Mikołajowi Strzale h. Kotwicz. Najstarsze gotyckie założenie z I poł. XV w. składało się z pojedynczej wieży mieszkalnej oraz drewnianych zabudowań, otoczonych ziemnym wałem oraz płytką fosą.

Za czasów panowania rodziny Komorowskich zamek uległ kilku poważnym zmianom w wyglądzie. Pod koniec XV w. budowla stała się obronną fortecą (posiadajacą cztery wieże mieszkalne z dziedzińcem wewnętrznym oraz mury obronne z czterema narożnymi basztami). W 2 poł. XVI w. średniowieczne zamczysko przeistoczyło się w renesansową rezydencję (krużganki, dachy z attykami i dekoracją sgraffito, nowa kamieniarka okien i portali). Wiek XVII oraz nowi właściciele - rodzina królewska dynastii Wazów - nie wnoszą poważniejszych zmian w architekturze budowli. Drugi okres świetności w historii zamku przypada na lata panowania w Żywcu rodu Wielopolskich. Początek XVIII w. przyniósł decydujące zmiany w wyglądzie zamku i jego otoczenia. Dawny obronny zamek stał się rezydencją o charakterze pałacowym (rozbudowa skrzydła południowego z reprezentacyjną klatką schodową, nowe barokowe elewacje, okna, wysokie dachy, portale, kaplica). Zmieniło się także otoczenie siedziby, od północnego zachodu stworzono dziedziniec otoczony oficynami, zabudową gospodarczą oraz od południa ogród włoski. Przebudowa zamku prowadzona przez Wielopolskich nie była ostatnią. Nowi właściciele - Habsburgowie - zmienili elewację zewnętrzną ( zachowana do dzisiaj,  w stylu historyzmu), której projekt wykonał Karol Pietschka. Po remoncie zamek został przeznaczony na siedzibę urzędów oraz na mieszkania urzędników dóbr żywieckich.

Do 1939 r. zamek znajdował się w rękach Habsburgów. W okresie okupacji Niemcy zajęli pomieszczenia zamkowe na cały okres wojny. po 1945 budynek stał się własnością miasta i przeznaczono go na mieszkania lokatorskie, archiwum, biura organizacji młodzieżowych, pracownie Domu Kultury, biura przedsiębiorstwa "Las" oraz bibliotekę miejską.

W latach 1976 - 1989 władze miasta zdecydowały się na remont zamku. Wkrótce nastąpiło wykwaterowanie lokatorów, otwarcie kawiarni "Rycerska". Remont oraz prace badawczo-naukowe przeprowadzono na początku lat 90 XXw. Administratorem Starego Zamku był Zespół Zamkowo-parkowy, który prowadził działalność kulturalną, oświatową oraz wystawienniczą.

W Starym Zamku ma również siedzibę Urząd Stanu Cywilnego.

W styczniu 2005, Stary Zamek stał się siedzibą Muzeum Miejskiego w Żywcu.