Jedną z największych atrakcji Miłkowa jest wspaniały, trójskrzydłowy barokowy pałac i otaczający go park. Początki zespołu pałacowo – parkowego siegają połowy XVII wieku, chociaż jest bardzo prawdopodobne, że już w na przełomie XIII i XIV wieku istniała tutaj siedziba szlachecka zburzona w czasie wojen husyckich.

12 lipca 1656 roku wieś Miłków nabył hrabia Carl Heinrich von Zierotin, który zlecił w tym miejscu budowę pałacu w formie trójskrzydłowego założenia z niewielkim reprezentacyjnym dziedzińcem. W roku 1765 majątek zakupił hrabia Johann Nepomucen Lodron - Laterano. Za jego czasów pałac został poważnie uszkodzony przez pożar i hrabia zarządził, w roku 1778, jego przebudowę w stylu barokowym oraz utworzenie wokół pałacu sporego parku.

W XIX w. pałac częściowo przebudowano, zmieniając między innymi fasadę i nadając jej styl neobarokowy, w efekcie przeprowadzonych prac do elewacji ogrodowej korpusu dobudowano wydłużony prostokątny ryzalit. Cały budynek nakrywają wyniosłe dachy mansardowe z wydatnymi kominami i lukarnami. Fasada frontowa budowli urzeka regularnością i symetrią. Wejście główne ujęte zostało w kolumnowy portal, nad którym znajduje się kartusz herbowy hrabiów Matuschków. Lekko wysunięty środkowy fronton zdobi naczółek, a nad nim wznosi się ozdobna facjata, flankowana pilastrami, ujęta w wolutowe spływy i zwieńczona odcinkowym szczycikiem.. Wystrój elewacji wzbogacają uszate obramienia okien, hermowe pilastry, rozdzielające potrójne okna skrzydeł.

Wnętrza rezydencji zachowały układ przestrzenny z czasów ostatniej przebudowy; Po wojnie w pałacu umieszczono dom wczasowy. W 1978 r. odrestaurowało go Sudeckie Zjednoczenie Rolno - Przemysłowe. Obecnie w pałacu mieści się luksusowy hotel i restauracja.