Czterokondygnacyjna, zbudowana z kamienia, wieża mieszkalna pochodzi z I poł. XVI w. Służyła wtedy za mieszkania dla oficjeli. Ok. roku 1565 Caspar von Kalkreuth dobudował do niej renesansowy dwór (wg innych źródeł wieżę zbudowała rodzina von Kalkreuth na swoją siedzibę).
Wieża była restaurowana w roku 1935 i w roku 1965.
Pastuchów od poł. XII w. do poł. XIII w . był własnością książęcą. Następnie znalazł się w rękach wrocławskich augustianów. Od 1260 r. do II poł. XVII w. dzielił się na dwie części : Dolną i Górną, a właściciele obu części często się zmieniali. Świeccy właściciele znani są od 1320 r. Od 1350 r. do 1495 r. majątek należał do rodziny von Mühlheim – Puschke , następnie do rodziny von Kalkreuth, w I poł. VII w. von Seidlitz , od 1650 r. do rodziny von Gaffron, a następnie von Reibnitz. Od poł. XVII w. wieś należała do Karla Juliusa barona von Zedlitz und Neukirch. Majątek odziedziczyła jego córka, Anna Elizabeth i wniosła go w wianie Hansowi Heinrichowi III hrabiemu von Hochberg z Roztoki. Po jego śmierci w 1743 r. stała się własnością Hochbergów z Książa, aż do roku 1835. Kolejnymi właścicielami Pastuchowa byli : tajny radca handlowy Christian Gottlieb von Kramsta ze Świebodzic, a następnie Marie von Kramsta z Morawy. Po jej śmierci przeszły na własność rodziny von Wietersheim – Kramsta z Morawy. Ostatnim posiadaczem z tej rodziny był Hans Christoph.
Trzeba zaznaczyć, że siedzibą właścicieli wsi nie była zachowana do dziś wieża mieszkalna, ale nie istniejące już dwory. Jeden funkcjonował już od XIV w. w środkowej części wsi, drugi później w części dolnej.
Obecnie wieża służy mieszkańcom Pastuchowa jako pomieszczenia gospodarcze.

(opis za : R.M. Łuczyński - "Zamki i pałace Dolnego Śląska - Przedgórze Sudeckie, Nizina Śląska - część wschodnia")