W 1atach 1746-1751 zakonnicy zbudowali istniejące obecnie kolegium, przypisywane Wincentemu Rachetti, a zrealizowane najprawdopodobniej pod nadzorem Jana Krzysztofa Adriana Kluka. Po kasacie zakonu jezuitów w 1773 r. kolegium drohiczyńskie objęli Pijarzy (1774), którzy w 1791 r. zostali też formalnymi beneficjentami i opiekunami parafii drohiczyńskiej. Kontynuowali oni dydaktyczną działalność jezuitów, prowadząc kolegium i nowicjat. W 1832 r. władze carskie zamknęły obie te placówki, a w 1845 r. skasowały klasztor. Parafia, kościół i klasztor przeszły pod zarząd duchowieństwa świeckiego, a w kolegium ulokowano szkołę świecką. Po zniszczeniu dachu podczas I wojny światowej budynek do 1925 roku niszczał. Podczas odbudowy nie odtworzono dachu z dachówki ceramicznej zastępując ją blachą i dodając lukarny. Od 1928 r. w kolegium mieściło się Gimnazjum Męskie Diecezji Pińskiej, po 1944 r. Seminarium Duchowne. Obecnie w kolegium swoją siedzibę ma Kuria Diecezjalna.