Źródła historyczne podają pod datą 1564, że Orłów i Wola Orłowska należały do Andrzeja i Hieronima Trojanów herbu Junosza i prawdopodobnie za ich rządów w II poł. XVI wieku zbudowano założenie obronne. Kolejnym właścicielem był Andrzej Średziński, a do 1649 r. Oktawian Samborzecki. Od 1649 roku do końca XVII wieku należały do Wacława Zamoyskiego. Z okresu 1669-1725 pochodzą inwentarze Orłowa, dzięki którym możliwe jest poznanie stanu i zabudowy obiektu. Pierwsza relacja wykazuje obecność dwóch budynków murowanych i drewnianej zabudowy pomocniczej, Całość otoczona była fortyfikacjami bastionowymi tworząc założenie w stylu palazzo in fortezza. Na przełomie XVII/XVIII stulecia rodzina Sarbiewskich przebudowała zamek - fortalicję na wygodną rezydencję dworską. Było to zgodne z ogólną tendencją do odchodzenia już w XVII w. od średniowiecznego schematu łączącego funkcje mieszkalne i obronne. Jeszcze w XVIII w. mieszkali w Orłowie Jordanowie i Kowalkowscy. Jej kres nastąpił wraz z pożarem w 1791 r., a po rozbiórkach w wieku XIX, pod jego koniec pozostała tylko ruina budynku mieszkalnego. Ludność nazywała to miejsce "spalenisko" i "mury".