Zamek wzniesiony w latach 1540–1564 przez ks. Mikołaja Radziwiłła, zwanego Czarnym, marszałka i kanclerza wielkiego litewskiego oraz kasztelana wileńskiego. Około 1640 r. kolejny ordynat ołycki ks. Albrycht Stanisław Radziwiłł, rozbudował zamek w stylu renesansowym, otoczył murami na rzucie prostokąta, z czterema charakterystycznymi bastionami w narożnikach. W latach 1740-1760 zamek został gruntownie przebudowany przez ks. Michała Radziwiłła zwany Rybeńko, wojewodę wileńskiego i hetmana wielkiego litewskiego. Stworzono wówczas reprezentacyjną budowlę książęcą w stylu barokowym, pozbawioną cech obronności.
Od 1945 r. w zamku mieści się szpital psychiatryczny.
Zamek w Ołyce ma kształt czworoboku zgrupowanego wokół rozległego dziedzińca, o bokach ok. 100 x 100 m, niegdyś pustego, dziś pokrytego zielenią. Składa się z właściwego pałacu we wschodniej części dziedzińca, z bramą przejazdową prowadzącą do rynku oraz budynku bramnego z wieżą zegarową, znajdującego się po przeciwległej stronie. Po ich bokach, od strony północnej i południowej, ciągną się piętrowe budynki mieszkalne połączone ćwierćkolistymi przewiązkami.

Obecny widok z lotu ptaka