Zamek będący siedzibą założycieli miasta Krotoskich został wzniesiony prawdopodobnie równocześnie z założeniem miasta w 1415 roku. Później był własnością Niewiejskich, Rozdrażewskich i Gałeckich. Nie ma jednoznacznych przesłanek mówiących gdzie zamek się znajdował. Najbardziej prawdopodobne jest, że obecny pałac wzniesiony w 1692 roku przez Gałeckich stoi właśnie w miejscu zamku, być może zawierając w piwnicach jakieś jego pozostałości.