W dobrach pielgrzymowickich już w XVI w. wzniesiono zamek, jednak budowla ta została zniszczona w 1813 r. W 1903 r. kiedy właścicielem Pielgrzymowic został Karol von Reitzenstein, przystąpiono do budowy nowej rezydencji, przy wznoszeniu której wykorzystano piwnice dawnego zamku. Pałac należał do Reitzensteinów do 1945 r., kiedy to wraz z resztą majątku został przejęty przez państwo polskie. Grunty rolne rozparcelowano pomiędzy okolicznych chłopów, a w pałacu urządzono szkołę podstawową. Szkoła podstawowa funkcjonowała w tym budynku do 1996 r. W następnych latach dawną rezydencję Reitzensteinów zakupił prywatny inwestor. Po przeprowadzonym generalnym remoncie budynek jest w bardzo dobrym stanie. Pałac usytuowany na wzgórzu, wraz z niewielkim parkiem, o powierzchni 1,3 ha, otoczony jest ogrodzeniem. Zwiedzanie obiektu nie jest możliwe, można go obejrzeć tylko z zewnątrz.
Pałac wzniesiony po 1903 r., pozbawiony wyraźnych cech stylowych. Budynek murowany z kamienia i cegły, wzniesiony na wysokich piwnicach, na planie prostokąta, dwukondygnacjowy, z mieszkalnym poddaszem, nakryty wysokimi wielospadowymi dachami. Elewacja frontowa dziewięcioosiowa, z centralnie umieszczonym wejściem, nad dwoma oknami fasady umieszczono kartusze herbowe. Część elewacji zachowała podziały za pomocą lizen i gzymsów oraz okna w ozdobnych opaskach.