Po huraganie, który przeszedł na Beskidami w 1885 r. ogołocony z drzew szczyt Koziej Góry stał się dobrym punktem widokowym na okolicę. W 1897 r. Beskidenverein umieściło tu tablicę poświęconą Karolowi Steffanowi, ówczesnemu burmistrzowi, który osobiście wspomagał liczne działania towarzystwa, w tym budowę schroniska na Szyndzielni. Na piramidzie z surowego kamienia porośnięte mchami, ziołami i leśnymi kwiatami umowocowano marmurową tablicę z tekstem "Energicznemu propagatarowi turystyki w ojczystych górach, panu Karolowi Steffanowi, burmistrzowi miasta Bielska, w dziękczynnym uznaniu od Sekcji Bielsko-Bialskiej Towarzystwa Beskidzkiego. 8 lipca 1897 r." (tekst był oczywiście po niemiecku). Rok później obok pomnika wzniesiono drewniany pawilon widokowy. Od tego miejsca wzięła się nowa nazwa Koziej Góry - Stefanka - używana potocznie do dziś, a przed wojną stanowiąca oficjalne określenie tego szczytu. Niestety, z pawilonu i pomnika pozostały ruiny widoczne przy szlaku niebieskim, ok 100 m na zachód od schroniska na Koziej Górze. Zniszczenia dokonano w okresie PRL, kiedy dokładnie - nie wiadomo.

Altana została odbudowana w 2022 r.