Pierwsza rezydencja powstała w Sidrze przed 1536 r. i stanowiła centrum dóbr nadanych Bohdanowi Hrynkiewiczowi Wołłowiczowi. Jego syn Eustachy Wołłowicz w 1575 r. zbudował w Sidrze murowany renesansowy zameczek lub też raczej dwór-kamienicę z ozdobnym ogrodem. Po śmierci Eustachego Wołłowicza w 1587 r. majątek po nim odziedziczyła jego jedyna córka – Regina, żona Seweryna Bonera, kasztelana krakowskiego. Po ich bezpotomnej śmierci Sidra w 1592 roku przeszła w ręce syna Hrehorego Wołłowicza – Piotra Wołłowicza (zm. przed 1624 r.), który ofiarował ją córce Helenie (zm. w 1649 r.), która w 1622 r. poślubiła Jana Hołowczyńskiego, a około 1643 r. powtórnie wyszła za mąż za Krzysztofa Potockiego, podstolego litewskiego (zm. w 1676 r.). Po nim Sidrę odziedziczył jego wnuk Krzysztof Sędziwój, starosta jabłonowski (zm. w 1683 r.), zaś po śmierci jego żony Barbary Bogumiły Gorajskiej (zm. w 1701 r.) – odziedziczyła rezydencję prawnuczka Konstancja z Potockich, żona Stanisława Antoniego Szczuki, podkanclerzego litewskiego.

Podczas wojny północnej spalone zostały miasto i zamek. Po wojnie zostały one odbudowane, ale część rezydencjonalna nie wróciła już do dawnej świetności. Zapewne wtedy wytyczono oś widokową od rezydencji na folwark, którą podkreślono drogą i aleją.

Na początku XVIII w. Sidrę odziedziczyła Wiktoria Szczukówna, która w 1719 r. poślubiła Jana Stanisława Kątskiego, generała ziemi podolskiej. W 1741 r. dobra ponownie znalazły się w rękach Potockich (choć już innej gałęzi rodu) w wyniku małżeństwa Marianny Kątskiej (córki Wiktorii i Jana) z Eustachym Potockim, generałem artylerii litewskiej (zm. w 1768 r.). W 1771 r. w wyniku spadkowego podziału majątku Sidrę otrzymał Jerzy Michał Potocki (1753-1792), starosta tłumacki, a w 1781 r. dobra te przejął jego brat Ignacy Potocki, marszałek nadworny litewski (zm. w 1809 r.). W 1804 r. dobra zlicytowano i w latach 1804-1815 posiadał je Rajmund Rembieliński.

W 1816 r. w wyniku zadłużenia dobra sidrzańskie podzielono. Zamek i północną część miasteczka objął Karol Antoni Husarzewski, a folwark Sidrę i południową część miasteczka Józef Eynarowicz (1775-1845).

Zamek uległ całkowitemu zniszczeniu po 1831 roku w wyniku skonfiskowania i rozparcelowania majątku przez Rosjan za udział właściciela – Adolfa Husarzewskiego – w Powstaniu listopadowym.