Nie wiadomo, kto zamek wybudował. Znany jest tylko fakt, że spłonął w wojnie trzydziestoletniej i został wkrótce mimo ciężkich czasów odbudowany. Stary dach gontowy z tamtych czasów zastąpili w 1877r. hrabiowie von Lüttwitz na pokrycie łupkowe. Zamek, który należał kiedyś do Stillfriedów i Radonitzów, kupili oni od pruskiego skarbu państwa.

Kryzys lat powojennych spowodował, że Lüttwitzowie byli zmuszeni sprzedać swoją posiadłość we wsi, a kupcami zostali w 1925 r. jezuici z Kłodzka. W dawnym pałacu, przebudowanym i zmodernizowanym, utworzyli oni nowicjat wschodnioniemieckiej prowincji zakonu jezuitów. Przebudowano też otoczenie pałacu, budując m.in. hydrofornię, zakładając ogrody i sad owocowy. Dawna kaplica ewangelicka została przekształcona w kaplicę zakonną. Jezuici przejęli też pracę duszpasterską w parafii. Być może rządy nazistów w Niemczech na terenie Ścinawki Średniej były dotkliwe dla jej mieszkańców wcześniej, ale w widoczny sposób ujawniły się one podczas wojny. Dość aktywnie działała tu placówka Gestapo - niemieckiej policji politycznej. W szczególny sposób skierowała ona swą działalność przeciwko nowicjatowi jezuickiemu. W 1940 roku większość posiadłości zakonu została zarekwirowana. Umieszczono tu rodziny Volksdeutschów, przesiedlonych z Rosji. Na tym jednak nie zakończyły się represje wobec jezuitów. W 1941 roku gestapo aresztowało proboszcza - ks. Augusta Heinischa i wywiozło go do Prus Wschodnich. W tymże roku rozwiązano całkowicie nowicjat i odebrano resztę folwarku zakonnikom. Przeor i mistrz nowicjatu, ojciec Otto Pies, został wywieziony do obozu koncentracyjnego w Dachau, gdzie przebywał do 1945 roku.