W XVI stulecia, dzierżawcą nieskolonizowanej jeszcze południowej części Puszczy Grodzieńskiej oraz Kryńskiej, Kuźnickiej, Molawickiej i Odelskiej został niejaki Hryń z litewskiego rodu Wołłowiczów. Jego zadaniem było czuwanie z ramienia króla nad eksploatacją puszczańskich zasobów oraz kierowanie akcją osiedleńczą, aby więc jak najlepiej wywiązywać się ze swoich obowiązków. Hryń swoją siedzibę miał w Sidrze. Około roku 1524 trzej synowie Hrynia – Bogdan, Łukasz i Iwan, podzielili między siebie dobra sidrzańskie i w ten sposób powstały trzy odrębne majątki Wołłowiczów: Andrzejewo, Pawłowicze i Sidra. Pawłowicze przypadły Iwanowi ożenionemu z Filią Pawłowną, od której imienia wziął nazwę majątek, a później sąsiadująca z siedzibą dworską wioska.
Wnukiem Iwana i Filii Pawłowny był Paweł Wołłowicz, późniejszy podskarbi nadworny Wielkiego Księstwa Litewskiego, starosta grodzieński, uciański i plotelski. To on zbudował istniejący po dzień dzisiejszy dwór w Pawłowiczach. Wzniósł go w 1610 roku jako budowlę murowaną, piętrową, w renesansowym stylu, mimo że w owych czasach modny był już w Polsce wczesny barok. Dopiero później, żeby chociaż trochę pójść za modą, założono barokowy ogród. Wcześniej stał w tym miejscu dworek drewniany, parterowy, kryty gontem, zbudowany przez dziada Pawła, Iwana Wołłowicza, koniuszego trockiego.
Być może w II połowie XVI w. funkcjonował przy tym dworze zbór kalwiński gdyż Wołłowiczowie byli gorącymi zwolennikami kalwinizmu, a według lokalnych przekazów ustnych kamień usytuowany przy wjeździe do założenia z wyrytym na nim krzyżykiem ma upamiętniać nieistniejący „kościół”.
Dwór w Pawłowiczach był w posiadaniu Wołłowiczów do początków XVIII wieku. Później stał się na krótko własnością rodziny Łapów, następnie miecznika wiłkomirskiego Komara, by przed 1784 rokiem przejść w ręce chorążych rzeczyckich – Downarowiczów. Ci ostatni rozbudowali go, nadając mu klasycystyczną formę. Główną elewację wzbogacili o drewniany ganek, przed frontonem budynku utworzyli obszerny dziedziniec ogrodzony kamiennym murem, który przekroczyć można było przez efektowną bramę. Od bramy do podjazdu wytyczyli aleję i obsadzili ją lipami.
Po obu stronach dworu Downarowicze wznieśli oficyny i prawdopodobnie połączyli je arkadami z głównym budynkiem. Po zachodniej stronie dworu założyli obszerny park z widokowymi tarasami i usypanym sztucznie pagórkiem, na którym postawili altanę. Rozciągał się z niej rozległy widok na leżące niżej sady i dolinę rzeki Sidry. W różnych miejscach parku pojawiły się wazony, rzeźby i kwietniki pokryte ornamentami z darniny, ozdobnych roślin i kwiatów. Kiedy ukończono wszystkie prace, skromny dwór zmienił się w okazały pałac – prawdziwą rezydencję prawie magnacką.
Downarowicze rozbudowali wspaniale siedzibę dworską w Pawłowiczach, ale Downarowicze też przyczynili się do jej upadku, nie przeprowadzając potrzebnych remontów. Próbował ją ratować nowy nabywca, Olendzki, ale nim wdrożył na dobre prace budowlane, został zabity przez świeżo uwłaszczonych ukazem carskim chłopów.
Kolejni posesorzy Pawłowicz w ostatnich latach XIX wieku to Aleksander Wasilkowski, Julian hrabia Opperman, Otton Baehr, Paweł Boboszyn i Elżbieta Kułakowska. Elżbieta Kułakowska wykorzystała trzechsetną rocznicę wzniesienia dworu, przypadającą w 1910 roku, do przeprowadzenia jego remontu i odnowienia parku. Jej mężem był podpułkownik wojsk rosyjskich, dowódca pułku mającego chronić okoliczne siedziby ziemiańskie, który stacjonował w budynku koszarowym, wzniesionym wraz ze stajniami w sąsiedztwie południowej oficyny. Zginął on w czasie wojny polsko-bolszewickiej na Wołyniu i tam go pochowano.
W 1920 roku właścicielem pałacu został doktor Bołchowitynow ożeniony z córką Elżbiety Kułakowskiej. Zajmował się on praktyką lekarską i zawiadywał majątkiem do września 1939 roku. Potem przeniósł się do Krotoszyna, a że był świetnym lekarzem, nadal leczył mieszkańców Pawłowicz i okolicznych wiosek, którzy nie zważając na odległość, szukali u niego pomocy, gdy ciężko zaniemogli.
II wojna światowa oraz lata 1944-1958 przyniosły zagładę całemu założeniu dworsko-ogrodowemu. Na skutek reformy rolnej i parcelacji majątku dawne sady zamieniono w pastwiska, w parku wycięto prawie wszystkie drzewa, rozebrano dworskie zabudowania i porosyjskie koszary, w miejscu, gdzie niegdyś wznosił się dwór, sterczały pozbawione dachu ściany. Te ściany kupił za 19500 złotych od Gromadzkiej Rady Narodowej mieszkaniec wsi Mieleszkowce Pawłowickie, Józef Spiżewski, i w 1957 roku zaczął je rozbierać. Na szczęście o rozbiórce dowiedział się profesor Politechnik Gdańskiej i Warszawskiej, Paweł Kułakowski, syn Elżbiety Kułakowskiej, i interweniował w Ministerstwie Kultury, zapobiegając całkowitemu zniszczeniu rodowej siedziby Wołłowiczów, Downarowiczów, no i Kułakowskich.
W latach 1959-1966 Wojewódzki Konserwator Zabytków w Białymstoku, Władysław Paszkowski, prowadził generalny remont dworu i oficyny południowej. Po jego zakończeniu powstał obiekt, będący czymś pośrednim między renesansowym dworem Wołłowiczów, a klasycystycznym pałacem Downarowiczów. Zasadnicza bryła głównego budynku nie uległa istotnym zmianom. Nie odbudowano jedynie drewnianego ganku w elewacji frontowej, ale pozostała ona symetryczna, z niewielkim tympanonem komponującym się z balkonem w odrębną całość. Odtworzono boniowanie ścian w części parterowej, którą oddziela od kondygnacji wyższej szeroki gzyms kordonowy o niewielkim uskoku. Główny gzyms, biegnący pod samym okapem, składa się z tryglifów i rozet, ponad którymi widnieją wsporniki ozdobione stylizowanymi liśćmi akantu. Dach pokryto ceramicznymi dachówkami, jednak jest on niższy od dachu sprzed 1939 roku i zamiast dwuspadowego wybrano formę czterospadową. Układ wnętrz został w zasadzie zachowany, z pewnym dostosowaniem dla potrzeb szkoły. Nie odnaleziono i nie próbowano odtworzyć oryginalnych pieców, sztukaterii, architektonicznych detali, stolarki, wyposażenia pomieszczeń, ściennych ozdób.
Po zakończeniu remontu do dworu wprowadziła się szkoła podstawowa, do oficyny – personel nauczycielski. Oficyny północnej nie zrekonstruowano; pozostały po niej resztki osypujących się ścian. Kierownikiem, a później dyrektorem szkoły, a więc osobą odpowiedzialną również za stan zabytkowej budowli był w latach 1966-1994 Aleksander Maksymiuk. To za jego sprawą w 1980 roku została wmurowana w elewację frontową, przechowywana w kościele w Zalesiu, tablica fundacyjna dworu. Obok Bogorii, rodowego herbu Wołłowiczów, znajduje się na niej łacińska inskrypcja o następującej treści: Paweł Wołłowicz sobie i swoim jakimkolwiek również wdzięcznym spadkobiercom zbudował w roku pańskim 1610. Czego pragniesz dla siebie, czyń drugiemu.
Źródło: http://dworypogranicza.pl/index.php/dwory/156-pawlowicze