Główną atrakcją turystyczną Dowspudy są ruiny neogotyckiego pałacu Paców, wybudowanego w latach 1820-1827 staraniem Ludwika Michała Paca, generała wojsk polskich i napoleońskich.
Pałac w stylu angielskiego neogotyku został zaprojektowany przez włoskiego architekta Piotra Bosio. Budowę rozpoczęto w 1820, a po przerwie, od roku 1823 kontynuowano pod kierunkiem innego włoskiego architekta Henryka Marconiego. Prawdopodobnie główne prace budowlane były już wtedy zakończone, jednak urządzanie i dekorowanie wnętrz trwało przez kolejne 4 lata. Dwukondygnacyjna budowla składała się z korpusu głównego, w którego narożnikach umieszczono cztery smukłe wieżyczki, oraz dwóch węższych skrzydeł bocznych zakończonych ośmiobocznymi pawilonami. Nad korpusem głównym wznosiła się nadbudówka zwieńczona attyką i pinaklami, a jego przednią część zdobił mocno wysunięty portyk pełniący rolę podjazdu. W niszach na frontowej elewacji stały prawdopodobnie rzeźby królów polskich autorstwa włoskiego rzeźbiarza Carla Aurelli.
Trudno odtworzyć wygląd wnętrz pałacu, ale z dziewiętnastowiecznych opisów wiadomo, że na parterze znajdowały się: kaplica, salony, archiwum i biblioteka oraz zdobiona sztukaterią jadalnia, a na piętrze - mieszkanie właściciela i jego rodziny. Prawe skrzydło boczne mieściło zbiory militariów, a lewe - galerię malarstwa i oranżerię. Pomieszczenia te były bogato zdobione polichromią i freskami, zapewne autorstwa włoskich malarzy Mikołaja de Angelis oraz Giovanniego Battisty Carellego. Piwnice również miały dwie kondygnacje - w górnej znajdowały się łazienki urządzone wg wzorów starożytnych, mieszkania dla służby, kuchnia i inne pomieszczenia gospodarcze; w dolnej - studnia. Pałac otoczony był parkiem zaprojektowanym przez angielskiego ogrodnika Johna Heitona. Niesłychanie wystawny i kosztowny pałac dowodził bogactwa fundatora i przeszedł do skarbnicy polskich powiedzonek w postaci: Wart Pac pałaca, a pałac Paca.
Po powstaniu listopadowym Ludwik Pac wyemigrował, a jego dobra zostały skonfiskowane przez rząd carski. W czasie powstania część wyposażenia i dzieł sztuki ukryto w kościołach w Raczkach i Janówce; resztę oraz to, co udało się wykryć władzom carskim, sprzedano na publicznej licytacji w latach 1834-1836. Pałac trafił najpierw w ręce rosyjskiego generała Mikołaja Sulimy, który jednak zrzekł się nadania w zamian za wynagrodzenie ze skarbu państwa. Kolejni właściciele i dzierżawcy nie dbali o utrzymanie dóbr w należytym stanie, pałac więc niszczał i ostatecznie został rozebrany w 1867 roku. Zachował się jedynie portyk oraz jedna wieża, zwana "bocianią", która wg miejscowej ludności ocalała wyłącznie dlatego, że było na niej bocianie gniazdo.