W miejscu pałacu znajdował się w I poł. XIV w. zamek, pełniący funkcję strażnicy granicznej. Otoczony fosą obiekt był prawdopodobnie własnością księcia głogowskiego Jana. W XVI i XVII w. majątek należał do rodziny von Glaubitz. W 1899 r. kupili go od P. Fuhrmanna - Karringa Franz hrabia Ballestrem di Castellengo i jego syn Valentin. Oni to w 1900 r. przebudowali istniejący już pałac w stylu neobarokowym. W 1910 r. zlikwidowano barokowy most, a na jego miejscu powstał szeroki podjazd. Rodzina Ballestrem di Castellengo mieszkała tu do 1945 r., a ostatnim właścicielem był dr Michael Wolfgang Friedrich Franz, który uciekając przed Armią Czerwoną, zginął w czasie amerykańskiego nalotu na Drezno w lutym 1945 r. Inne źródła podają, że do 9 lutego 1945, kiedy to do Szklar Górnych wkroczyli Rosjanie, rodzinnym majątkiem zarządzała Angela Ballestrem. Po II wojnie światowej w pałacu mieścił się PGR. W latach sześćdziesiątych i siedemdziesiątych znajdował się w nim Zakład Poprawczy Ministerstwa Sprawiedliwości. Obecnie obiekt należy do Urzędu Gminy Prochowice i od 1983 r. jest siedzibą Specjalnego Ośrodka Szkolno - Wychowawczego.