Starszy brat króla, książe Kazimierz Poniatowski, około 1771 roku polecił przy obecnej ulicy Solec zbudować pałac z sentymentalnym założeniem ogrodowym "Na Solcu". W pobliżu powstały dwa inne jego ogrody określane jako „Na Książęcem” i „Na Górze”. Projektantem i głównym wykonawcą wszystkich trzech ogrodów był Szymon Bogumił Zug (Simon Gottlieb Zug). Najwcześniej, bo w latach 1771-1772, powstał „Ogród Na Solcu” z niewielkim pałacem składającym się z przyulicznego pawilonu zwieńczonego belwederkiem i dwóch skrzydeł ciągnących się w głąb posesji. W lewym skrzydle mieściły się cieplarnie i pokoje dla służby, w prawym skrzydle pokoje księcia Kazimierza Poniatowskiego z salą balową oraz salami zdobionymi obrazami i sztukateriami. Do głównego pawilonu prowadziły wąskie schody aż do sali wyłożonej zwierciadłami, nad nią był widokowy taras. Ogród ozdobiono altaną kolumnową krytą chińskim dachem, teatrem w postaci "zrujnowanego" gotyckiego kościoła z długą salą i galerią. Zbudowano także w dalszej części ogrodu ananasarnię na 5000 ananasów, figarnię itp. Około 1772 roku Kazimierz Poniatowski dokupił posesję od południa, od strony ulicy Ludnej, w związku z czym dobudował parterowy budynek mieszczący ptaszarnię, a wzdłuż ulicy Solec zbudowano budynek stylizowany na gospodarczy, pokryty czterospadowym dachem. Powiększony ogród położony był wzdłuż dzisiejszej ulicy Ludnej u jej zbiegu z ulicą Solec i według relacji samego Zuga był to pierwszy park angielski w Warszawie. Od strony Ludnej wykopano sztuczną prostokątną sadzawką z ciągnącą się wzdłuż niej "antyczną" kolumnadą i „klekoczącym” młynem. Na zachód od sadzawki usypano małe wzgórze z winoroślą i tarasami oraz grotą ozdobioną malowidłami. Z drugiej strony wzgórza powstały chatki kryte strzechą (każda zawierała salon i gabinet).

W 1782 roku właścicielem zalożenia pałacowego stał się bankier Fryderyk Cabrit (Kabryt), a później Aleksander Sapieha. Po jego śmierci teren zmieniał wielokrotnie właścicieli. W 1844 roku w jednym ze skrzydeł pałacu mieściła się Szkoła Elementarna działająca w tym miejscu do 1852 roku. Założenie w XIX wieku uległo zniszczeniu, a pod koniec wieku zostało rozparcelowane pod zabudowę, w tym jatki miejskie.

Pałac przypisany był do numeru 2913 A, natomiast ogród do numeru 2915.