Około 1600 r. książęta brzescy wznieśli w Kantorowicach zamek myśliwski. Budynek w stylu późnorenesansowym charakteryzuje się wysoką kwadratową wieżą, w której mieści się klatka schodowa. Oprócz tego obiekt ma dwie kondygnacje i niewielki dziedziniec.
Zamek otoczony był fosą, której ślady zachowały się do dzisiaj. Ściany zamku pierwotnie pokryte były dekoracją sgraffitową. W 1720 r. budynek stał się własnością miasta Brzeg. W wyniku prac budowlanych jakie przeprowadzono w zamku w połowie XVII w. powstał strop pokryty polichromią. Przekształcenia w XIX w. spowodowały, że stracił swój charakter i obecnie jest budynkiem mieszkalnym.