Na przełomie XIII i XIV w. powstał tu obronny zamek. Jego pierwszymi mieszkańcami i właścicielami wsi byli prawdopodobnie bracia Albrecht i Conrad Schirner oraz ich kuzyn Reinhard Schirner. Z czasem zamek zaczął tracić swoje znaczenie obronne. W II poł. XV w. dobra należały do rodziny von Zedlitz, a potem von Reibnitz i von Nimptsch. W 1821 r. część zamku została przeznaczona na magazyn zboża, a część rozebrana. W 1830 r. (1834 ?) rycerskie dobra w Górnej i Średniej Lipie kupił mistrz ceremonii królewskiego dworu pruskiego, autor opisów historii Śląska, Rudolph hrabia von Stillfried - Rattonitz. To on zapobiegł dalszej dewastacji i rozbiórce obiektu. W 1836 r. kazał na nowo wybudować piramidalny komin kuchni i przebudować część mieszkalną. W 1840 r. dokupił także Lipę Dolną. Rok później sprzedał całość kupcowi z Bolkowa Ernstowi Heinrichowi Kramsta. Pod koniec XIX w. majątek w Lipie był częścią dóbr małuszowskich, których właścicielem był Ernst Heinrich von Sprenger. Następnie, od 1917 r. do II wojny światowej, należał pani von Hunerbein z domu von Sprenger oraz jej córki, żony kapitana von Drabich - Waechter.
Po wojnie zamek nie był użytkowany i niszczał.
Na początku lat 70 - tych XX w. ruiny kupiła obywatelka Szwajcarii polskiego pochodzenia. Od tego czasu nic się jednak nie zmieniło i obiekt nadal znajduje się w stanie postępującej ruiny.
(za R.M. Łuczyńskim)