Dworzec kolejowy pierwotnie miał stanąć w Łęgu w okolicy dzisiejszej oczyszczalni ścieków, późniejszej gazowni miejskiej, a obecnie zajezdni autobusowej MZK. Budowniczowie kolei zwrócili się do rajców miejskich z prośbą o wykup gruntów pod budowę kolei i dworca. Ci zaś nie wyrazili zgody, bo jak powiedział jeden z nich: "bydzie nam tu kopcić pod nosem, a i o ogień nie trudno". Nieopodal przyszłego dworca zlokalizowane były stodoły należące do mieszkańców Rudzy. Stary Dowsilas, przez którego środek stodoły została wytyczona linia kolejowa czyli ,,śtreka", opowiadał sąsiadom: "Co oni se myślom, ze jo tam byde siedzioł i wrota od stodoły odmykoł, jak ta kolej pojedzie", zaś rajca miejski Igła Studencki argumentował tak: "Sławetni rajcowie! Kolej to dobra rzecz, bo bez marnowania koni zajedziesz do Bielska, Wiednia i Pesztu. Towary można sobie sprowadzić i szynki, kiełbasy z naszych prosiąt wysłać. Ale z tą stacją to mi się tu coś nie widzi. Kolejami jeżdżą sobie różni ludzie i Żydzi naturalnie też. A co będzie jak jaka Żydówka urodzi dziecko na stacji, w poczekalni, na ziemi naszego miasta?!... Nowego obywatela nam przysporzy!... Ja pierwszy nie zgadzam się na żadną stację." Wobec takiego stanowiska mieszczan i radnych miejskich dworzec kolejowy zlokalizowany został w Zabłociu, 2 km od Rynku. Pociągnęło to za sobą rozkwit handlu, rzemiosła i przemysłu w rejonie późniejszej ul. Kolejowej, zamieszkałej w poważnym odsetku przez ludność żydowską.
Pierwszy budynek dworca kolejowego powstał w roku 1878, z chwilą uruchomienia kolei relacji Bielsko - Żywiec. W roku 1884 nastąpiło połączenie kolejowe z Suchą, a pośrednio z Krakowem, oraz ze Zwardoniem, a przez Słowację z Wiedniem. Kolej ta nosiła wówczas nazwę kolei transwersalnej. Stacje końcowe Kolei Transwersalnej to Czadca (obecnie Słowacja) i Husiatyn (obecnie Ukraina), a jej łączna długość wynosiła około 800 km. Główne dworce kolejowe znajdowały się w Żywcu, Nowym Sączu, Krośnie, Zagórzu, Chyrowie, Samborze, Drohobyczu, Stryju i Stanisławowie. Dworzec kolejowy w Żywcu był długim jednopiętrowym budynkiem, typowym dla całej ówczesnej monarchii austro-węgierskiej. Dworce w tym stylu stoją do dziś w Suchej Beskidzkiej, Rajczy, Łodygowicach itp. Widok jego zachował się na starych kartach pocztowych, a pozostałością z tego okresu jest stojący prostopadle w stosunku do dworca budynek przychodni kolejowej.
Żywiec stał się węzłem komunikacyjnym z wieżą ciśnień, punktem podawania wody do lokomotyw i parowozownią rozebraną po 1945 r. Najprawdopodobniej jeszcze przed I wojną światową, dawny budynek dworca został przebudowany przez żywieckiego budowniczego Roberta Fussgangera w swoiście przyjętym stylu podhalańskim. Otrzymał on nowe wysokie dachy z naczółkami i drewnianymi szczotkami, oraz nową halą dla podróżnych, o dwóch wielkich łukowych oknach, nakrytą drewnianym stropem - jak dziś. Na ścianach zewnętrznych hali dworcowej, wokół okien w tynku wyrobione były wielkie donice w stylu zakopiańskim z bujnymi krzewami i stylizowanymi kwiatami. Główne wejście jak dzisiaj flankowały kamienne figury orłów z lekko rozpiętymi skrzydłami. W czasie okupacji hitlerowskiej otrzymały one w dzioby dyndające się na krótkich łańcuszkach blaszane swastyki. Po stronie torów podobnie jak w Bielsku, Dziedzicach, Suchej, Trzebini, Skawinie i w wielu innych miastach, dworzec posiadał zadaszenie wsparte na żeliwnych kolumnach. Wokół każdej kolumny powyżej 2 m przymocowano koszyki, w których w okresie kwitnienia barwiły się szałwie. Estetycznej całości dopełniało dzikie wino.
Ten drugi budynek dworca został zniszczony przez uciekających Niemców w 1945 roku. Po wojnie budynek dworca został odbudowany według Fussgangerowskich planów i ma takie same dachy i szczyty wyrobione w zakopiańskie słońca, identyczną stolarkę drzwiową i okienną, taką samą halą główną. Nie odbudowano, a szkoda to wielka, zadaszenia peronu, budynek przez to jest jak gdyby okaleczony. Wiele do życzenia pozostawia plac przed dworcem, kiedyś otoczony rabatami kolorowego kwiecia. Do infrastruktury dworcowej zaliczyć należy magazyny przeznaczone do składowania towarów transportowanych koleją, zaplecze socjalne dla drużyn konduktorskich, rampy przeładunkowe i place. W okresie PRL-u linie kolejowe do Bielska, Zwardonia i Suchej Beskidzkiej zostały zelektryfikowane, a żywiecki dworzec kolejowy wzbogacił się o dwie nowe inwestycje: kładkę dla pieszych nad torami (1975 r.) i przejście podziemne pod ulicą Dworcową (w 1980 r.). Po roku 1989 plac przed dworcem pierwotnie przeznaczony dla pasażerów, dorożek i taksówek po części został zabudowany kioskami, resztę zamieniono na parkingi i place do nauki jazdy. W dawnych magazynach i pomieszczeniach dworcowych ulokowały się biura i różne firmy handlowe i usługowe nie mające nic wspólnego z koleją. Lansowana przez Starostwo Powiatowe w Żywcu idea zakupu szynobusów zakończyła się fiaskiem. Zniknęły z dworców i pociągów tłumy pasażerów. Po nakryciu budynku dworca nową dachówką w 2001 roku kolej zaniechała wszelkich robót w budynku dworca. Zniknął zegar dworcowy. Pozostawiony własnemu losowi budynek przedstawia obraz wołający o pomstę do nieba. Jest anty wizytówką miasta. Dworzec w Bielsku przejęło od kolei miasto i przywróciło mu jego pierwotny blask. Może Żywiec słynący z różnych ciekawych inicjatyw pójdzie podobną drogą.
