Dzisiejszy dworek w Żelazowej Woli to w rzeczywistości zaledwie lewa oficyna dworu Skarbków. Front strawił ogień w roku 1812, natomiast prawa oficyna spłonęła w czasie pierwszej wojny światowej. Jednak kwestia pożaru i istnienia prawej oficyny dzieli historyków. Różnią się oni także co do okresu powstania dworu. Według powszechnej wersji wybudowali go Skarbkowie. Można jednak przyjąć, iż teoria ta jest fałszywa. Dwór powstał najprawdopodobniej w drugiej połowie XVIII wieku, gdy budowano podobne dwory w pobliskim Strzyżewie dla rodu Zembrzuskich czy w Brochowie dla Lasockich.

Wnętrze obecnego muzeum oddaje co prawda charakter epoki, jednak do naszych czasów nie zachowało się XIX-wieczne wyposażenie domu Chopinów. Także rozplanowanie muzeum jest raczej symboliczne. W sześciu pokojach, które rozlokowane są po dwu stronach sieni pomieszczono przedmioty i meble z dziewiętnastego wieku.