Przypominający wyglądem zamek,neogotycki pałac, wybudował ok.1882 roku baron Edmund Larisch dla żony Jessey Naty Paterson.Wzorowany był go na szkockim Huntly Castle, w którym mieszkała małżonka barona przed ślubem.
W 1915 roku rodzina Larischów gościła tu wypoczywającego w okolicach Kęt z I Brygadą Legionów Józefa Piłsudskiego. Można przypuszczać,że zaważyło to na późniejszych losach barona i jego rodziny. Syn Aleksander walczył w szeregach Wojska Polskiego w kampanii wrześniowej, a sam Edmund Larisch odmówił podpisania volskslisty skutkiem czego Niemcy wywieźli barona i synów do obozu koncentracyjnego w Mathausen, potem Dachau, a pozostałą rodzinę wyeksmitowali z pałacu. Baronowi Edmundowi Larischowi i Aleksandrowi udało się przeżyć obóz i w 1945 roku szczęśliwie wrócili do Bulowic.
Niestety wspólczesna władza nie oszczędziła go i w 1947 roku, w oparciu o dekret z dnia 8 marca 1946 r. o majątkach opuszczonych i poniemieckich , wyeksmitowała z pałacu rodzinę Larischów, a przejęty majątek rozparcelowano. W latach 60-tych w pałacu funkcjonowało sanatorium dla chorych na gruźlicę, a w 80-tych oddział odwykowy szpitala psychiatrycznego w Andrychowie. Ostatni potomek rodu, Jerzy Larisch, osiadł w Bielsku-Białej i był wykładowcą w Akademii Techniczno - Humanistycznej czyniąc starania o odzyskanie dawnego majątku rodzinnego, co mu się udało i obecnie jest w rękach prywatnych.
