Mieszczanie Bartłomiej i Mikołaj Przybylowie wybudowali w roku 1589 na wzgórzu Plebanka nieduży kościół pw. Zwiastowania Najśw. Maryi Panny, który konsekrował sufragan krakowski bp Paweł Dębski 11 VIII 1591 r.
W roku 1627 przy kościele tym osiedlili się reformaci, zaproszeni przez Henryka Firleja, opata tynieckiego, późniejszego biskupa przemyskiego. Zakonnicy powiększyli kościół, dobudowując prezbiterium z chórem zakonnym oraz przedłużając nawę; zakrystię zaś przerobili na kaplice św. Rocha i św. Sebastiana. Klasztor wznoszono etapami w latach 1639-1668.
Kościół i klasztor uległy poważnemu zniszczeniu w czasie pożaru 27 VI 1827 r. Odnowiony potem kościół przybrał w bryle wiele cech ówczesnego stylu - klasycyzmu. W roku 1865 klasztor zamknięto, a zakonników przewieziono do Pińczowa. Powrócili do Kazimierza w 1928 r. W okresie okupacji (od października 1942 do lipca 1944 r.) klasztor zajmowało gestapo, a piwnice zamieniono na więzienie. Zakonnicy mieszkali w mieście i obsługiwali kościół. W latach 1945 - 1958 w części klasztoru mieścił się internat dla chłopców szkół średnich.
Kościół zachował wystrój pierwotny, łącznie z balustradą okalającą boczne ołtarze oraz chórem dla zakonników za ołtarzem. Głównyołtarz w szacie dzisiejszej został wykonany w roku 1770 przez Walentego Charytańskiego (rzeźby) i Wojciecha Wnukiewicza (roboty stolarskie) według projektu arch. Tomasza Hoffmana; odrestaurowany w 1986. Ostatnio prowadzone są prace remontowe i konserwatorskie w kościele i klasztorze.
Obraz Zwiastowania Najśw. Maryi Panny w ołtarzu głównym, malowany olejno na desce pochodzi z 1600 r. Czczony od wieków jako łaskami słynący, został ozdobiony koroną papieską 31 VIII 1986 r. w Wąwolnicy,
w czasie V Ogólnopolskiego Kongresu Mariologicznego i Maryjnego. Odpust upamiętniający rocznicę koronacji obchodzi się w pierwsza niedziele sierpnia.
Na uwagę zasługuje też obraz św. Antoniego, malowany przez Wojciecha Jaszczołda. Autorów pozostałych obrazów ołtarzowych nie znamy. Zakrystię umeblował br. Efrem Karecki (1771 r.). Zabytkiem są żelazne drzwi kute, z datą 1589, pochodzące z pierwotnego kościoła. Mury okalające kościół i klasztor oraz schody wystawiono z funduszu Piotra Cieszkowskiego, późniejszego brata zakonnego, zmarłego w Kazimierzu w 1709 r. Na korytarzu znajduje się zegar szafkowy z datą 1763, ozdobiony obrazem Zwiastowania; jest dziełem br. Joachima Gutowicza.
W roku 1956 staraniem o. Wenantego Miziniaka w klasztorze powstało muzeum, którego eksponaty obejmują; rękopisy, starodruki, dawne rzeźby i obrazy oraz relikty regionalne z okolic Kazimierza.
Zakonnicy służą pomocą wszystkim przybywającym do Sanktuarium, głoszą rekolekcje, misje ludowe, pomagają w okolicznych parafiach, przyjmują pielgrzymki. Co roku 25 marca ma miejsce Pielgrzymka Osób Konsekrowanych z archidiecezji lubelskiej. Przy klasztorze działa kuchnia dla biednych im. św. Franciszka z Asyżu.
Kościół klasztorny jest miejscem nabożeństw patriotycznych; wokół niego powstały pomniki i tablice, upamiętniające ważne wydarzenia historyczne, m.in. „Krwawą środę" (18 XI 1942 r. poniosło śmierć ok 140 osób z rąk Niemców w odwet za akcję partyzantów), „Cudu nad Wisłą” w r. 1920 oraz udział miejscowych zakonników w powstaniu styczniowym.