Kolegium pojezuickie wzniesione w latach 1695 - ok. 1740. Kolegium wchodzi w skład zespołu budowli składającego się z kościoła,
kolegium oraz tzw. pałacyku biskupiego i tworzy czworobok usytuowany na płd. - zachód od Rynku. W czasie kasaty zakonu (1773 r.) gmachy jezuickie przejęła Komisja Rozdawnicza a następnie Komisja Edukacji Narodowej. Od 1811 r. lazaret (szpital wojskowy) i mieszkania dla lekarzy oficerów. W okresie międzywojennym (1918-1939) w skrzydle zachodnim kolegium mieściło się kino, resztę obiektu zamieszkiwały rodziny wojskowych. Pod koniec lat 50-tych XX w. obiekt przejęto od wojska i umieszczono tu urzędy, instytucje i lokatorów prywatnych. W latach 20-tych XIX w. prowadzono prace przystosowujące obiekt do funkcji szpitala wojskowego. Poważniejsze prace remontowe i przeróbki prowadzono w latach 1843-1847. Dokonano wtedy obniżenia dachów kolegium. Od 1995 r. trwa remont kapitalny i adaptacja kolegium na potrzeby Muzeum.