W XVII w. pojawia się wzmianka o włościach rycerskich w Przydrożu należących do hrabiego Jana Fryderyka von Herberstein. Wcześniej właścicielem Przydroża i Lipowej koło Nysy był Krzysztof baron Kochcicki, członek rady biskupów wrocławskich i starosta Otmuchowa. Drogą koligacji rodzinnych majątek w XVIII wieku znalazł się w rękach rodziny von Stahremberg. Od 1868 aż do 1945 r. pałac należał do rodziny Blomeyer. Niszczejąca po II Wojnie Światowej budowla została w ostatnich latach zabezpieczona. Przydroski pałac należałby do jednej z wielu typowych, śląskich, wiejskich rezydencji, gdyby nie historyczne spotkanie, które miało miejsce w jego komnatach 9 października 1741 roku. Doszło wtedy do tajnego spotkania i podpisania wstępnej umowy między Austrią a Prusami, która utorowała drogę pod przyszły pokój podpisany we Wrocławiu, a decydujący o włączeniu niemal całego Śląska do Prus. Celem rozmów było uzgodnienie warunków, na jakich miała zakończyć się tocząca się wówczas wojna prusko-austriacka o Śląsk. W spotkaniu uczestniczył król pruski Fryderyk II oraz austriacki marszałek polny Neipperg reprezentujący interesy cesarzowej Marii Teresy. Spotkanie przeszło do historii pod nazwą Konwencji Przydroskiej. Za:
Dla upamiętnienia tego wydarzenia w 1862 roku na zamkowym dziedzińcu postawiono posąg króla wykonany z brązu. W roku 1946 został on usunięty przez Polaków. Za: