W miejscu dzisiejszego pałacu istniał już w XVI w. dwór zbudowany, być może, przez Hansa von Mühlberg lub rodzinę von Strachwitz. Następnie właścicielami były m.in. rodziny von Schweinichen i von Sommerfeld – Falkenhain.
Na przełomie XVIII i XIX w. właścicielem majątku został Claudius Theodor von Le Beau de Nantes, a w 1841 r. zarządca Heinrich Zimmer. W 1872 r. majątek w Wiśniowej i jednocześnie w Bagieńcu nabył Gustav von Zedlitz und Leipe, który gruntownie przebudował pałac w latach 1872 – 1884, a w 1889 r. dobudował południowe skrzydło.
Jego potomkowie zostali tu do końca II wojny światowej. W roku 1944 w pałacu ukryto przed nalotami zbiory Głównego Urzędu Statystycznego z Berlina.
Po wojnie, do 1960 r. właścicielem pałacu były Zakłady Wytwórcze Aparatury Precyzyjnej w Świdnicy, a potem Rolnicza Spółdzielnia Produkcyjna Wiśniowa.

(opis za : R.M. Łuczyński - "Zamki i pałace Dolnego Śląska - Przedgórze Sudeckie, Nizina Śląska - część wschodnia")