Wzniesiony w 1260 roku i ufortyfikowany dwór biskupi, zwany też zamkiem, po wielokrotnych przebudowaniach w 1459 roku otoczono zabudowaniami gospodarczymi opartymi o południowo-wschodni odcinek murów obronnych.

W roku 1842 zamek został prawie całkowicie zburzony, gdzie cześć pomieszczeń zmieniono wówczas w warsztaty artyleryjskie lub przeznaczono na inne cele wojskowe. Przy zachowanej budowli przekształconej w warsztaty artyleryjskie, przylega zachowana jedynie wieża mieszkalna oraz gotycka baszta z fragmentem murów obronnych.

W czasie kiedy funkcjonowała Spółdzielnia Inwalidów „Pokój” (1950-2003), w tym miejscu funkcjonowała tapicernia nr 2, gdzie m.in. były składane i tapicerowane fotele i wersalki. Po upadku SI „Pokój”, obiekt uległ dewastacji. Kiedy działki przejęła Gmina Nysa, część budowli odsprzedano prywatnemu inwestorowi, część wydzierżawiono, aby zapobiec wtórnej degradacji zabytku.

Na parterze w części pomieszczeń funkcjonuje: „Mono Chleb i Wino” i „Stereo-Live Music Club”. co jest z pozostałością pomieszczeń, to są wypożyczane na jakieś spodkania czy warsztaty artystyczne.