Prawdopodobnie stał tu kiedyś czteroskrzydłowy dwór otoczony fosą z wodą. W 1478 r. kanclerz księstwa świdnicko – jaworskiego hrabia Caspar von Schaffgotsch, syn Hansa Schaff – Gotscha, odziedziczył majątek Czarne wraz z dobrami w Karpnikach, Starej Kamienicy i Radocinach. W 1559 r. zbudował on tutaj czteroskrzydłowy dwór z kamienia i cegły, posiadający wewnętrzny dziedziniec obudowany drewnianymi galeriami.
W 1584 r. właścicielem dworu został Gregorius von Kahlen. W 1623 r., podczas wojny trzydziestoletniej, dwór spłonął. Został odbudowany dopiero w 1656 r. przez kolejnego właściciela Ernsta von Nimptsch. Jednak syn Ernsta, w 1679 r., sprzedał całą wieś wraz z dworem miastu Jelenia Góra. Miasto zarządzało majątkiem do końca II wojny światowej.
Kiedy w 1718 r. dwór częściowo spłonął, odbudowano go dodając wieży barokowy hełm, a do skrzydła wschodniego dostawiając jeszcze jedno, równoległe skrzydło. W 1801 r. miał miejsce kolejny pożar. Pożodze uległy wówczas zabudowania gospodarcze i ponownie część dworu. I znowu podjęto dzieło odbudowy. Ogień nie był łaskawy dla założenia, bo w 1885 r. po raz trzeci je uszkodził. Po tym katakliźmie rozebrano dodatkowe, zewnętrzne skrzydło wschodnie. Do końca XIX w. dobra dzierżawili jeszcze panowie Weidner i następnie Marx, a od 1905 r., właściciel pałacu Paulinum, Oscar Caro. W 1921 r. dzierżawcami została rodzina Rahm, która przebywała tu do października 1945 r.
Po II wojnie światowej majątkiem wzorowo zarządzał polski dzierżawca, ale już w 1948 r. budynki przejął PGR. Opuścił on jego mury w połowie lat 60 – tych i odtąd obiekt popadał w ruinę. W 1983 r. podjęto pierwsze wysiłki zmierzające do uratowania zabytku. Prace renowacyjne ujawniły wówczas fragmenty renesansowych malowideł ściennych.
Po 1990 r. fundacja „Ośrodek Kultury Ekologicznej” rozpoczęła, trwające do dziś, prace restauracyjne. W tym czasie odsłonięto również duże fragmenty dawnej fosy.