Zbudowany w 1725 roku dla Johanna Martina Gottfrieda – burmistrza Jeleniej Góry tytułującego się „kupcem królewskim”. W 1741 posiadłość przeszła na rzecz Georga Friedricha Smitha, który poślubił wdowę po Gottfriedzie. Dzięki mariażowi pałac w 1771 roku przeszedł w ręce rodziny Hessów. W tym czasie pałac został poddany drobnym przebudowom. W latach 1768 i 1777 Pakoszów odwiedził król Prus Fryderyk Wielki. W rekach rodziny Hess pałac znajdował się do końca 1945 roku.
Obecnie jest to budowla barokowa, zbudowana na planie prostokąta z bocznymi ryzalitami, dwukondygnacyjna, dwuprzęsłowa, kryta łamanym dachem. Wewnątrz zachowały się pomieszczenia sklepione kolebkowo, ze skromnymi dekoracjami stiukowymi , kominkami i klasycystyczną stolarką. Obecnie najcenniejszą ozdobą pałacu jest dekoracja narożnego saloniku z kominkiem. Ściany tego małego wnętrza wyłożone są XVIII wiecznymi fajansowymi płytkami z Delft. Kafelki dekorowane są przedstawieniami figuralnymi o motywach rodzajowych i biblijnych.
( Dokładna data budowy Pałacu Pakoszów nie jest znana. Początkowo prawdopodobnie należał do rodziny Schafgottsch. Pierwszym udokumentowanym właścicielem był John Martin Gottfried, zięć Christiana Menzla.
Studia w najstarszej części dachu wykazują znaczną rozbudowę i przebudowę w połowie XVII wieku. Obecny, późnobarokowy wygląd nadała obiektowi przebudowa z 1725 r.
Obiekt służył Johnowi Martinowi Gottfriedowi jako jako reprezentacyjne pomieszczenia mieszkalne oraz manufaktura wybielająca najwyższej jakości len.
Tkaniny moczono w kadziach na parterze w roztworze z potasu i mydłem, płukano i następnie rozkładano na łąkach do wyschnięcia na słońcu.
Przywilej do przetwarzania niezbędnej do bielenia lnu wody został potwierdzony w 1777 roku przez króla Fryderyka II w dokumencie zachowanym do dziś. Do produkcji prowadzonej w południowej części budynku został przekierowany potok. Woda osłabiła fundamenty od strony północnej, stąd w późniejszych latach potok został przeniesiony około trzech metrów dalej na północ od domu. Północna ściana została wsparta na czterech filarach. Podczas obecnej przebudowy odnaleziono w części zewnętrznej ściany dawny zbiornik służący wybielaniu i duży komin do produkcji potażu.)