Na przełomie XIII i XIV w. powstał tu obronny zamek. Jego pierwszymi mieszkańcami i właścicielami wsi byli prawdopodobnie bracia Albrecht i Conrad Schirner oraz ich kuzyn Reinhard Schirner. Z czasem zamek zaczął tracić swoje znaczenie obronne. W II poł. XV w. dobra należały do rodziny von Zedlitz, a potem von Reibnitz i von Nimptsch. W 1821 r. część zamku została przeznaczona na magazyn zboża, a część rozebrana. W 1830 r. (1834 ?) rycerskie dobra w Górnej i Średniej Lipie kupił mistrz ceremonii królewskiego dworu pruskiego, autor opisów historii Śląska, Rudolph hrabia von Stillfried – Rattonitz. To on zapobiegł dalszej dewastacji i rozbiórce obiektu. W 1836 r. kazał na nowo wybudować piramidalny komin kuchni i przebudować część mieszkalną. W 1840 r. dokupił także Lipę Dolną. Rok później sprzedał całość kupcowi z Bolkowa Ernstowi Heinrichowi Kramsta. Pod koniec XIX w. majątek w Lipie był częścią dóbr małuszowskich, których właścicielem był Ernst Heinrich von Sprenger, a następnie, od 1917 r. do II wojny światowej, pani von Hunerbein z domu von Sprenger, oraz jej córki, żony kapitana von Drabich – Waechter.
Po wojnie pałac nie był użytkowany i niszczał.
Na początku lat 70 – tych XX w. ruiny kupiła obywatelka Szwajcarii polskiego pochodzenia. Od tego czasu nic się jednak nie zmieniło i obiekt nadal znajduje się w stanie postępującej ruiny.