Na terenie obecnego skweru Żeromskiego, w miejscu dawnego placu kanoników krakowskich, w latach 1867-1870 władze zaborcze nakazały wybudowanie cerkwi Wniebowstąpienia Pańskiego, stanowiącej symbol rosyjskiej dominacji w mieście. Po odzyskaniu niepodległości cerkiew została opuszczona i ostatecznie wyburzona w 1933 roku. W 1937 roku, na skraju skwerku, zlokalizowano pierwszy w Kielcach szalet publiczny. Po II wojnie światowej na środku skweru stanął Pomnik Wdzięczności Armii Czerwonej, usunięty w 1990 roku. Od 2005 roku w centralnym miejscu skweru stoi Pomnik Armii Krajowej, w kształcie łuku, z wyciętym w środku zarysem jodły, oraz postaciami sześciu partyzantów. W latach 2014/2015 Skwer S. Żeromskiego został gruntownie wyremontowany, zmieniono też cokół pomnika Armii Krajowej (usunięto kwadratowy cokół).

Dzisiejsza nazwa ulicy utrwaliła się w roku 1862. Wcześniej kielczanie używali nazw: Folwarczna, Poprzeczna, św. Wojciecha, i Zatylnia. Ta ostatnia dobrze korespondowała z rzeczywistością, gdyż ulica przebiegała z tyłu biskupich nieruchomości, wyznaczając granicę dla rozciągających się w kierunku wschodnim terenów rolniczych. W końcu XVIII wieku ulica była wąska i bardziej przypominała polną drogę. Dopiero w XIX wieku otrzymała nawierzchnię z polnego kamienia, zwanego potocznie "kocimi łbami".
Ulica Wesoła miała istotnie znaczenie w komunikacji miasta, gdyż łączyła Przedmieście Bożęckie z Rogatką Krakowską z pominięciem bardzo uciążliwego dla koni przejazdu przez Wzgórze Zamkowe. Z myślą o woźnicach, powstały przy tej trasie szynki, zajazdy, gospody i ten właśnie fakt musiał zadecydować o nazwie Wesoła.
Dopiero w 1874 roku przystąpiono do regulacji ulicy Wesołej, po czym odbudowano ją zgodnie z nową linią regulacyjną uwzględniając planowaną modernizację ulicy. Ranga ulicy znacznie wzrosła w związku z budową nowej dzielnicy wokół dzisiejszego placu Wolności oraz ze względu na wybudowanie cerkwi prawosławnej.
Ulica Wesoła ciągnęła się od ul. Bodzentyńskiej, przecinała ul. Sienkiewicza biegnąc do ulicy Sukowskiej (dziś: Wojska Polskiego) i pod kątem 90 stopni skręcała w stronę Krakowskiej Rogatki. W latach 1837 i 1840 projektowano jej wyprostowanie i poszerzenie, przy czym narożniki owego kąta miały być ścięte. Według planów Stasza, chciano wyprostować drogę, aby skręcała łagodnym łukiem na zachód w stronę traktu krakowskiego, ale pozostało to tylko w sferze projektów.
Dopiero w 1874 r. przystąpiono do regulacji ul. Wesołej. Wyburzono stare mury wzdłuż ogrodów biskupiego i seminaryjskiego i poszerzono ulicę.

Źródło: Album Kielecki. Starówka. Przewodnik cz. 1, R. Wrońska-Gorzkowska, E. Gorzkowski.