Pierwsza fortalicja pojawia się w dokumentach z roku 1491. Nie wiadomo dokładnie o który obiekt chodzi, zarówno mogła być to drewniana siedziba na kopcu, w łąkach, jak i pierwszy etap funkcjonowania murowanej wieży mieszkalnej. Budowla ta miała wymiary 9,8 x 10,2 metra i została wzniesiona prawdopodobnie w połowie wieku XV, na skraju wysoczyzny.

W roku 1551 Marcin Bielski wspomina o "zameczku", co odnosi się prawdopodobnie do tejże wieży. Bielski podaje, że czeski książę Weszowic, który otrzymał wieś w darze od Bolesława Krzywoustego mocny zameczek na wysepce między wody i lasy wybudował. Właśnie od Wieszowców wywodzi się ród Siemkowskich herbu Oksza, którzy byli właścicielami wsi aż do XVII wieku. O nowym murowanym dworze na kopcu mowa jest w inwentarzach z 1563 i 1589 roku. Dwór ten o wymiarach 17,3 x 18,6 metra podzielony był czwórdzielnie, a jedną z jego izb stanowiła wspominana wcześniej wieża-kamieniec. Na piętrze dworu mieściły się dwie izby i jedna sala w pełnym trakcie, która wypełniała północną elewację budynku. W XVII wieku do dworu dobudowano alkierz. W XIX wieku budynek obniżono, rozbierając piętro, a alkierz zwieńczono neogotycką wieżą.



Dziś w zabytek jest pusty, drzwi pozamykane na cztery spusty, choć kilka lat temu mieścił się w nim ośrodek kultury. Podobno jakiś potomek dawnych właścicieli chce przejąć dwór w swoje ręce.