Pierwotny pałac został wzniesiony w drugiej połowie XIX wieku (najprawdopodobniej w latach 1881 – 1882) przez radomskiego przemysłowca, pochodzenia niemieckiego, Teodora Karscha – uznawanego ówcześnie za jedną z najbogatszych osób w Radomiu. Rodzina Karschów była właścicielem i prowadziła m.in. cegielnię, garbarnię, hutę szkła, czy browar.

Po II wojnie światowej pałac został odebrany właścicielom, znacjonalizowany i zamieszkany przez lokatorów z tzw. kwaterunku. Rodzina Karschów odzyskała własność obiektu w latach 90-tych, po czym był on przedmiotem kilkukrotnej sprzedaży. Z uwagi na zły stan techniczny, w roku 2006, pałac został wyburzony (zgodę na wyburzenie wydał Konserwator Zabytków, pod warunkiem jego odbudowy). Po odbudowie pałac nie stanowił jednak wiernej kopii wyburzonego budynku. Zmianie uległa m.in. wysokość pałacu (przy zachowanej liczbie kondygnacji), a wejście zyskało zadaszenie.

W latach 2011 – 2012, na skutek dwukrotnego pożaru, doszczętnie zniszczona została niższa część budynku. Aktualni właściciele nabyli pałac w roku 2019, a latach 2020 – 2021 przeprowadzili jego generalny remont. Celem remontu była m.in. próba nadania pałacowi wyglądu zbliżonego do pierwotnego obiektu.