Pałac zbudował w latach 80-90. XVIII w. Kazimierz Lipski (jeden z infułatów). Pałac usytuowano przy kolegiacie, w miejscu istniejącej tu wcześniej budowli, z częściowym wykorzystaniem jej murów i piwnic.
Budynek był siedzibą infułatów przy kolegiacie.
W 1819 r., po konfiskacie dóbr kościelnych i likwidacji kolegiaty, pałac zaczął pełnić funkcję probostwa. Obecnie obiekt zajmuje Zakon Braci Mniejszych Franciszkanów Prowincji Wniebowzięcia Najświętszej Marii Panny.