Stacja kolejowa w Jeleśni powstała w 1884 r. Typowy austriacki budynek dworca został zniszczony w styczniu 1945 r. Zastąpiono go drewnianym prowizorycznym barakiem.

Na początku II Wojny Światowej stacja była świadkiem akcji pod kryptonimem „Saybusch Aktion”, czyli „Akcja Żywiec” polegającej na stworzeniu nowych niemieckich obszarów osiedleńczych poprzez wysiedlenie mieszkańców Żywiecczyzny. Jako pierwsi zostali wysiedleni mieszkańcy Jeleśni i Sopotni Małej, którzy pociągami byli przewożeni na Lubelszczyznę i Kielecczyznę.

Budynek stacyjny, podobnie jak większość innych na linii, nie ustrzegł się konsekwencji II wojny światowej. Przebiegający wzdłuż linii kolejowej front i ciężkie działania związane z walkami pomiędzy wycofującymi wojskami niemieckimi a nacierającymi sowieckimi spowodowały zniszczenie budynku.

W latach 80-tych XX wieku powstał obecny budynek dworca kolejowego, który następnie przez długi okres czasu spełniał funkcję dworca zarówno kolejowego jak i autobusowego z punktem kontroli ruchu PKS. XXI wiek przyniósł degradację infrastruktury, kasy, poczekalnia i punkty usługowe zostały zamknięte a budynek popadł w ruinę. Przed kilkoma laty budynek został przejęty przez Gminę Jeleśnia i oczekuje remontu z przywróceniem funkcji pasażerskiej dworca.