W I. połowie XII w. roku na szczycie Ślęży powstał klasztor p.w. P.Marii, w którym zamieszkali augustianie sprowadzeni tu z terenu Francji przez Piotra Własta (Włostowica, Włosta lub "Dunina") w 1128 roku. Po opuszczeniu szczytu przez zakonników powstała tu kasztelania, zaś w 1343 roku książe świdnicko-jaworski Bolko II Świdnicki, który kupił górę od księcia ziębickiego Mikołaja 14.VIII.1343 roku, wzniósł na jej miejscu kamienny zamek. Zamek powstał na planie nieregularnym, otoczony był murami i posiadał wysoką wieżę. Dnia 4 lipca 1353 roku książę Bolko podarował go w prezencie ślubnym królowi Czech Karolowi IV. 1.V.1428 roku zamek został zdobyty przez husytów pod dowództwem Jana Choldy (Koldy). Husyci przebywali na zamku ponad rok i łupili okolicę, zanim odebrali im go mieszkańcy Świdnicy i Wrocławia przy okazji niszcząc go poważnie w lipcu 1429 roku. Później ukrywali się w jego ruinach raubritterzy, skąd urządzali swe grabieżcze wypady na okoliczne wioski i miasta. Przywódcą rozbójników był Hans During, siejący postrach na drogach między Wrocławiem a Świdnicą. Przez prawie pół wieku stał się on siedzibą rabusiów, których ostatecznie przegnano ze szczytu w 1471 roku. Po raz kolejny oddział świdnicko-wrocławski odbił zamek. Z zamku pozostała wówczas już tylko wieża, która runęła w czasie burzy w 1543 roku. Dzisiaj widoczny jest zarys przebiegu murów zamku. Można go zobaczyć obok kościoła NMP na szczycie góry, który wybudowano częściowo na zamkowych fundamentach.