Wieża rycerska położona jest w północno-zachodniej części wsi, na niewielkim wyniesieniu otoczonym polami uprawnymi i łąkami. Od zachodu teren ten ogranicza Nysa Łużycka, natomiast po stronie wschodniej znajdują się zabudowania wsi wraz z siedemnastowiecznym kościołem.
Wprawdzie nie zachowały się bezpośrednie przekazy źródłowe dotyczące budowy wieży rycerskiej, ale wiadomo, że była warownym gniazdem lokalnego feudała. Sama wieś Żarki Wielkie (niem. Groß-Särchen) była położona na szlaku handlowym, w miejscu dogodnej przeprawy przez rzekę. W ciągu kilku stuleci, począwszy od późnego średniowiecza, miała ona kilku właścicieli. W 1353 roku ówczesne ,,Sare” należało do dominium Priebus (Przewóz), którego właścicielem był ród von Hackeborn. Źródła z 1399 roku wymieniają Witzmanna von Kamenz jako lennika Hackenbornów. W latach 1402-1552 zwierzchnictwo lenne nad Żarkami Wielkimi sprawował ród von Biberstein. Po wygaśnięciu żarskiej linii Bibersteinów połowa Żarek przeszła w ręce Fabiana von Schönaicha, pozostała część przypadła dominium żarskiemu, którego lennikiem w 1587 roku był Jerzy von Lossow. Według źródeł z 1602 roku wieś była częścią włości mużakowskich, podległych Trzebielowi.
Wieża obronna została zbudowana prawdopodobnie w XIV wieku, a jej historia jest związana z rodem von Hackenborn i legendą o rycerzach – rabusiach pochodzących z tej rodziny.
W XV wieku zamek zwany ,,Czerwonym domem” był, jak podają źródła, schronieniem awanturników i ciemiężców, ale też mieszkańców wsi przed zbrojnymi najazdami. W roku 1434 i 1436 zaatakowany i niszczony przez władców księstw głogowskiego i żagańskiego, obiekt powoli traci swoją funkcję obronną, a jego upadek poświadczają informacje o wybieraniu cegły w latach 1693-1695 do budowy nowego kościoła.
Wieża rycerska została zbudowana na rzucie prostokąta o wymiarach 12,5 × 15 m. Wymurowano ją z cegły o wymiarach 27 × 9,5 × 14,5 cm. Budowla prawdopodobnie pierwotnie była trzykondygnacyjna. Do dziś zachowały się jej mury obwodowe o zróżnicowanej wysokości: od 3 do 6 m i grubości około 1 metra. Od południowej, zachodniej i wschodniej strony, w uskokach zniszczonych ścian zachowały się obrysy otworów okiennych. W elewacji północnej do dziś przetrwały pełne otwory: okienny na poziomie drugiej kondygnacji i wejściowy w przyziemiu, zamknięte łukiem półkolistym. Wieża nie posiada cech stylowych. Nie była przebudowywana ani remontowana.
Obecnie obiekt ma charakter trwałej ruiny i jest przykładem średniowiecznej warownej siedziby rycerskiej.
