Data założenia opactwa benedyktynów na Łysej Górze nie jest znana. Tradycja benedyktyńska przypisuje fundację Bolesławowi Chrobremu w 1006 roku. Pewnym jest, że klasztor i romański kościół ufundowane zostały pomiędzy latami 1102-1138 przez Bolesława Krzywoustego. Początkowo pw. Świętej Trójcy, od XV wieku pw. Świętego Krzyża, po tym gdy w 1306 r. książę Władysław Łokietek przekazał łysogórskim benedyktynom relikwie drzewa Krzyża Świętego (przechowywane od XVIII wieku w kaplicy Oleśnickich i wg legendy podarowane przez Emeryka, królewicza z Węgier). Nie jest jasne czy podczas II najazdu mongolskiego na Polskę w 1259 roku Mongołom udało się zdobyć opactwo na Łyścu.



W połowie XV wieku opat Michał z Lipia przy finansowym wsparciu króla Kazimierza Jagiellończyka rozbudował romański kościół o gotyckie prezbiterium i zakrystię oraz o nową część od zachodu, a kardynał Zbigniew Oleśnicki sfinansował budowę nowego chóru i ołtarza głównego, które poświęcono 12 marca 1455 r. Udział Oleśnickiego polegał też prawdopodobnie na przesklepieniu nawy i klasztornych krużganków. W 1459 roku pożar zniszczył klasztor i prawdopodobnie wkrótce potem zbudowano istniejące do dzisiaj gotyckie krużganki wokół wirydarza. W tym też okresie zakonnik Andrzej ze Słupi skopiował w opactwie zbiór utworów znanych jako Pieśni Łysogórskie, uznawanych za jeden z najstarszych dokumentów stworzonych w języku polskim. W 1491 roku opat Maciej z Pyzdr dobudował od północy klasztoru nowe skrzydło na infirmerię (szpital) i aptekę.



W okresie panowania dynastii Jagiellonów, opactwo było najważniejszym sanktuarium religijnym w Królestwie Polskim. Siedmiokrotnie odwiedzał je Władysław Jagiełło (m.in. w drodze na koronację w Krakowie oraz w drodze pod Grunwald), dziesięciokrotnie przebywał w klasztorze był król Kazimierz Jagiellończyk, sześciokrotnie król Zygmunt Stary, trzykrotnie król Zygmunt August.



W 1607 roku po pokonaniu rokoszan w bitwie pod Guzowem do opactwa przybył Zygmunt III Waza. W latach 1611-1620 w miejscu kapitularza zbudowano barokową Kaplicę Oleśnickich.



W 1643 roku opat Stanisław Sierakowski rozpoczął przebudowę kościoła dodając do fasady gotyckiego korpusu dwie barokowe wieże, wczesnobarokową kamieniarkę odrzwi i okien o wysokim poziomie artystycznym i od południa kaplicę Matki Boskiej Bolesnej. W 1655 roku kościół złupili Szwedzi, którzy wymordowali część zakonników. Dnia 22 marca 1661 roku, jak podawała najstarsza polska gazeta Merkuriusz Polski Ordynaryjny, król polski Jan II Kazimierz Waza wraz z małżonką oraz dworem zmierzając do Warszawy wstąpił do sanktuarium.



W roku 1690 papież Aleksander VIII obłożył opata Aleksandra Wyhowskiego i opactwo ekskomuniką, którą zdjęto około 1706 r. W latach 1686-1701 roku zbudowano zachodnie skrzydło klasztorne z nowym refektarzem (później więzienie, obecnie muzeum). W 1704 roku, podczas III wojny północnej klasztor ponownie został zajęty przez wojska szwedzkie. W październiku 1777 roku gotycko-barokowy kościół i klasztor spłonęły w pożarze. Wkrótce przystąpiono do budowy trzeciego kościoła w stylu barokowo-klasycystycznym, który wybudowano w latach 1781-1789 i konsekrowano w 1806 r.



W 1819 roku dnia 6 czerwca nastąpiła supresja klasztorów w Polsce na mocy bulli Piusa VII z dnia 30 czerwca 1818 roku. Dnia 29 maja roku 1819 delegaci komisji województwa sandomierskiego stawili się na Św. Krzyżu przedstawiając dekret arcybiskupa Malczewskiego delegata apostolskiego w sprawie okupacji i suprymacji klasztoru. Od 1853 roku mieścił się tu Instytut Księży Zdrożnych. W styczniu 1863 roku w opactwie stacjonowali powstańcy styczniowi.



W 1884 roku rosyjscy zaborcy przekształcili opactwo w ciężkie więzienie kryminalne. W 1914 roku Austriacy wysadzili wieżę kościelną. Od 1936 mieścił się tu klasztor i nowicjat Misjonarzy Oblatów Maryi Niepokalanej, jednak w budynku dzisiejszego muzeum do 1939 roku nadal funkcjonowało "Więzienie ciężkie". Do 1937 roku osadzony w nim był Sergiusz Piasecki, który w celi zaczął pisać słynną powieść "Kochanek Wielkiej Niedźwiedzicy". We wrześniu 1939 roku klasztor został zbombardowany przez Luftwaffe i częściowo zniszczony. W latach 1941-1944 Niemcy w klasztorze więzili jeńców radzieckich. Obecnie obiekt jest udostępniony do zwiedzania.



16 czerwca 2013 sanktuarium podniesiono do godności bazyliki mniejszej. W 2014 roku ukończono rekonstrukcję kościelnej wieży autorstwa architekta Władysława Markulisa.