W XVI w. istniał, w miejscu dzisiejszego pałacu, dwór. Został on zniszczony w 1633r.
podczas wojny trzydziestoletniej. W latach 1712 – 1726, ówczesny właściciel, Sigismund von Zedlitz und Leipe, zbudował tu swoja siedzibę. Rodzina ta przebywała tu do około 1770 r., kiedy to majątek przejęła rodzina von Dresky. 3 września 1867 r. Emma von Dresky sprzedała dobra, wraz z pałacem, generałowi, późniejszemu feldmarszałkowi pruskiemu, Helmuthowi Karlowi Bernhardowi von Moltke. Po jego śmierci w 1891 r., z powodu braku męskiego potomka, majątek odziedziczył bratanek, generał Wilhelm hrabia von Moltke. Ostatnim gospodarzem był Helmuth James hrabia von Moltke, który od 1929 r. zarządzał dobrami, a od 1939 r. stał się ich właścicielem. Helmuth James był członkiem tzw. Kręgu z Krzyżowej, za co został skazany i stracony. Do jesieni 1945 r. mieszkała tu wdowa po nim, Freya von Moltke. Po II wojnie światowej majątek został upaństwowiony i należał do Kombinatu PGR Świdnica. Mieścił mieszkania i wiejską świetlicę.
Pałac w Krzyżowej nie podzielił, na szczęście, losów wielu innych podobnych zabytków.
12 lipca 1989 r. odbyła tu Msza Pojednania, w której uczestniczyli ówcześni szefowie rządów Polski i Niemiec – premier Tadeusz Mazowiecki i kanclerz Helmut Kohl.
17 lipca 1990 r. Klub Inteligencji Katolickiej we Wrocławiu powołał do życia Fundację Krzyżowa dla Porozumienia Europejskiego, której honorową przewodniczącą została, mieszkająca na stałe w USA, Freya von Moltke. Od tego czasu rozpoczęto intensywne prace remontowe, których efekty można już podziwiać. W 1999 r. dokonano uroczystego otwarcia Międzynarodowego Domu Spotkań Młodzieży.

(opis za : R.M. Łuczyński - "Zamki i pałace Dolnego Śląska - Przedgórze Sudeckie, Nizina Śląska - część wschodnia")