30 VI 1818 roku bullą "Ex imposita Nobis" papież Pius VII powołał do istnienia diecezję sandomierską. Już pierwszy biskup sandomierski Szczepan Hołowczyc w 1819 roku podjął starania o utworzenie Seminarium diecezjalnego, ale uskutecznił je dopiero drugi biskup sandomierski, Adam Prosper Burzyński. Po skompletowaniu kadry profesorskiej i przyjęciu pierwszych kandydatów, dnia 7 Xl 1820 roku zainaugurował uroczyście pierwszy rok nauki. Z braku odpowiednich lokali umieszczono je tymczasowo w Domu Księży Emerytów, obok dzwonnicy katedralnej. Seminarium funkcjonowało tam aż 84 lata. Budynek jednak nie był w stanie pomieścić wszystkich alumnów i część z nich musiała mieszkać poza Seminarium. W 1903 roku rząd rosyjski zlikwidował klasztor benedyktynek przy ulicy Gołębickiej (obecnie Żeromskiego), a budynki klasztorne miał zamiar przeznaczyć dla urzędów powiatowych. Wówczas Biskup Aleksander Zwierowicz zwrócił się z prośbą o oddanie poklasztornych budynków dla Seminarium, a na cele rządowe zaproponował przekazanie dotychczasowego budynku seminaryjnego. Rząd zgodził się i w 1904 roku Seminarium Duchowne przeniosło się w obecne miejsce. Nowy budynek był jednak niewystarczający, dlatego też w 1906 roku dobudowano do niego, od strony ogrodu, nowe skrzydło, które wraz z dotychczasowymi z 1637 i 1639 roku stworzyło uroczy wirydarz, w centrum, którego w 1913 roku umieszczono figurę Chrystusa Dobrego Pasterza. W latach 1998-1999 gmach Wyższego Seminarium Duchownego poddano gruntownemu remontowi, by w czasie wizyty Ojca Świętego Jana Pawła II w Sandomierzu dn. 12 czerwca 1999 r. godnie przyjąć zaproszonych gości.