Najciekawszym i najstarszym zabytkiem Reszla jest zamek wybudowany w latach 1350-1401. Stoi na miejscu drewnianej strażnicy krzyżackiej, wzniesionej podczas podboju ziem plemion pruskich przez zakon krzyżacki. Wkrótce osada przeszła pod panowanie biskupów warmińskich i rozpoczęto budowę zamku obronnego. W połowie XV wieku stracił on jednak znaczenie militarne i pełnił funkcję jednej z rezydencji biskupich i siedziby administracji. Przebywał tu między innymi biskup warmiński Ignacy Krasicki, którego brat pełnił w Reszlu funkcję proboszcza. W XVII wieku budowla zaczęła podupadać. Po zaborze Warmii przez Prusy zamek przekształcono w więzienie. W 1807 roku wybuchł bunt i więźniowie podpalili zamek.

Zachowały się fragmenty baszty w narożniku północno-zachodnim, baszta w narożniku północno-wschodnim oraz pomiędzy nimi tzw. gdanisko, połączone z główną częścią zamku. Na dziedziniec prowadzi brama w skrzydle zachodnim, nad którą zachowały się otwory do wylewania wrzątku i zrzucania kamieni na atakujące wojska. Dziedziniec zamku otaczały krużganki, które zostały zniszczone podczas pożarów miasta na początku XIX wieku. Skrzydło zachodnie i północne zachowało średniowieczny charakter. Znajdują się na nich ganki obronne, niegdyś otaczające cały zamek. Nad dziedzińcem góruje potężna baszta, która spełniała funkcje wieży obserwacyjnej. Z jej szczytu można obejrzeć panoramę starego miasta. Na jednym z pięter wieży leżą fragmenty drewnianych rur średniowiecznej instalacji wodociągowej. Funkcje reprezentacyjne pełniło skrzydło południowe (na prawo od bramy wjazdowej). Mieściły się tu komnaty biskupie oraz zaplecze gospodarcze. Obecny, niecodzienny kształt fasady pochodzi z XIX wieku, kiedy po odbudowie ze zniszczeń utworzono kaplicę ewangelicką.

Obecnie znajduje się tu galeria sztuki współczesnej. Pozostałe skrzydła mieściły pomieszczenia burgrabiego, mieszkania służby i pomieszczenia administracyjne. Obecnie mieści się tu hotel.