Pierwotnie w miejscu dzisiejszego budynku stał drewniany dwór rodu Komorowskich, którzy posiadali okoliczne tereny od połowy XVI wieku. Nowy, murowany obiekt zaczęto wznosić w 1629 r. z inicjatywy kasztelana krakowskiego Jerzego Zbaraskiego. Jednak już w 1631 r. budowę przerwano z powodu śmierci Zbaraskiego. Łodygowice przeszły na własność jego krewnych - Wiśniowieckich herbu Korybut. Helena Wiśniowiecka wniosła je w następnym roku w posagu wojewodzie mazowieckiemu Stanisławowi Warszyckiemu herbu Abdank. Ponieważ w połowie XVII w. żywiecczyzna była kilkakrotnie najeżdżana przez różne wojska (Kozaków, Szwedów, a nawet polskie wojsko, które nie opłacane zakładało konfederacje i łupiło terytoria, na których stacjonowało) Warszycki postanowił kontynuować budowę w formie niewielkiej rezydencji obronnej. W 1673 r. otoczył on dwór fortyfikacjami na planie kwadratu o boku ok. 150 m. Składały się na nie wał kamienno-ziemny z bastionami w narożnikach oraz obiegająca całość fosa.

Po śmierci Stanisława Warszyckiego (1682 r.) Łodygowice wraz z dworem dziedziczyli kolejni jego krewni. W 1714 r. na mocy wyroku sądowego Ludwik Pociej herbu Waga, bratanek hetmana wielkiego litewskiego, najechał Łodygowice i odebrał je Warszyckiemu.

W 1849 r. - dobra łodygowickie nabył bielski kupiec Rudolf Teodor Seelinger. Po nim właścicielem dworu byli kolejno Józef Karol Humborg, baron Artur Luttwitz i jego następca Maksymilian Luttwitz.

W 1866 r. majątek nabyła Klementyna Primovesi de Weber, żona austriackiego majora Adolfa von Klobusa. Przebudowali oni gruntownie fortalicjum do własnych potrzeb, zacierając cechy obronne obiektu. Powstał wtedy ceramiczny dach o nowym układzie (w jego centrum znajdowała się kiedyś latarnia z dwoma oknami), balkon, arkady wejściowe, neogotyckie attyki i nowe wnętrza. Rodzina Klobusów trzymała majątek łodygowicki aż do śmierci ostatniego potomka, Ottona Klobusa, w 1942 r.