Tutejszy zamek był wymieniany w bulli papieża Hadriana z 1155 r., chociaż jego powstanie wiąże się także z powrotem z wygnania książąt Bolesława Wysokiego i Mieszka Plątonogiego, synów księcia Władysława II, a wiec z latami po 1163 r. Badacze nie mają wątpliwości, że w XIII w. istniała tu kasztelania wleńska. Zamek był także wykorzystywany przez Piastów jako więzienie. Kiedy nastąpiły czasy podziałów dzielnicowych, warownia dostała się w ręce linii książąt świdnicko – jaworskich. Po jej wygaśnięciu, czyli po śmierci księcia Bolka II Małego, zamek stał się własnością wdowy po nim, księżnej Agnieszki. Kiedy i ona zmarła, dobra dzierżyły rody rycerskie. Wśród nich była m.in. rodzina von Zedlitz. W latach 1377 – 1391 zamek był remontowany i przekształcany. W czasie wojen husyckich (1419 – 1434) założenie nie zostało zdobyte. W 1567 r. Sebastian von Zedlitz und Neukirsch przebudował zamek na renesansową siedzibę. Wciąż miała ona jednak charakter obronny. W 1642 r. przeprowadzono renowacje z inicjatywy Christopha von Reder. Podczas wojny trzydziestoletniej (1618 – 1648) przyszedł kres funkcjonowania zamku. W 1646 r. bowiem, przejęły go cesarskie wojska marszałka Montecuculi, który kazał wysadzić warownie w powietrze. Funkcję rezydencji właścicieli przejął potem pałac, który powstał u podnóża góry w 1653 r., natomiast opuszczony zamek popadł w ruinę. Pierwotny zamek obejmował wieżę mieszkalną, sześcioboczną wieżę ostatecznej obrony, romańską kaplicę oraz mury obwodowe. Zespół ten powstawał w kilku fazach, od II poł. Do końca XIII w., kiedy to sześcioboczna wieżę zastąpiono potężną, cylindryczną wieżą wolnostojącą o średnicy 12 m, której mury dochodziły do 3 m grubości. Istnieją przypuszczenia, że wleński zamek stanowi najstarsze założenie zamkowe w Polsce.

(opis za : R.M. Łuczyński - "Zamki i pałace Dolnego Śląska - Sudety i Przedgórze Sudeckie"