Od strony północnej do zamku przylega kompleks dawnego kolegium jezuickiego wraz z kościołem św. Jana Chrzciciela. Pierwszy kościół wybudowali w tym miejscu augustianie sprowadzeni do Reszla w 1347 roku. Świątynia uległa zniszczeniu i na jej miejscu pod koniec XVI wieku powstał nowy kościół. Poaugustiański klasztor w pierwszej połowie XVII wieku przejęli jezuici przybyli z Braniewa tworząc tu kolegium. W jego skład wchodził budynek mieszkalny, zabudowania gospodarcze i budynek szkolny. Kolegium kształciło zarówno katolików, jak i protestantów, jego mury opuściło około 6 tysięcy absolwentów. Stypendia dla uczniów ufundowała między innymi król Jan Kazimierz.