"W północnej części parku krajobrazowego stał drewniany parterowy dwór szlachecki, wzbogacony o piętrową wystawkę wspartą dwoma kolumnami. W jego miejscu został wybudowany nowy budynek dla Samsona Wollera, nowego właściciela Smolic. Był to wtedy budynek typowej rezydencji ziemiańskiej z dominującą nad całością wieżą feudalną. Było to zestawienie obok siebie wyższej i niższej części budynku, a kontrastami i przeciwwagą była wstawiona pomiędzy nimi wieża. Po ślubie córki Heleny z hrabią von Zietenem w roku 1893 rozpoczęła się dalsza rozbudowa pałacu.

Nabrała ona rozmachu po śmierci Samsona Wollera w 1900 roku oraz po podziale majątku, który nastąpił rok później. Rozbudowa nastąpiła dlatego, że pałac nie był wystarczająco reprezentacyjny oraz nie odpowiadał randze, jaką posiadał hrabia. Narastał też wraz z awansami i tytułami hrabiego na dworze cesarskim. Brakowało apartamentów dla gości i dużej sali. Po przebudowie ożywiło się w pałacu życie towarzyskie, zaczęło przyjeżdżać wielu arystokratów i wojskowych. Właścicielem pałacu była żona, dlatego program pałacu uległ przemianom. Ważne stały się funkcje mieszkalne rezydencji, zwracało się większą uwagę na wygodę. Również brak dzieci wpłynął na zmiany w przebudowie. Budowla została postawiona na rzucie w kształcie litery „L”, która powstała w wyniku rozbudowy (3 lub 4 etapy), co powoduje niejednorodność budynku."