Domek ukryty jest wśród drzew porastających skarpę. Z okien wspaniale widać orłowskie molo, zabudowania gdańskiego portu, a w dniach, w których panuje dobra widoczność - także Półwysep Helski. W maju 1920 r. Żeromski przyjechał tu po raz pierwszy z żoną Anną i córką Moniką. Domek jest niewielki, murowany. Wchodzi się do niego po kilku schodkach, przez drewniany ganeczek. W środku, w dwóch pokojach, można obejrzeć wystawę "Życie i twórczość Stefana Żeromskiego". Wstęp jest wprawdzie wolny, ale można wrzucić dowolny datek do szkatułki. Pieniądze zostaną wykorzystane na działalność Towarzystwa Przyjaciół Orłowa, które ma tutaj swoją siedzibę. Obecnie w Domku Żeromskiego organizowane są spotkania z ludźmi kultury, odczyty i wykłady. Obok budynku znajduje się niewielki skansen rybacki ze starym sprzętem używanym przez rybaków i tablicą informacyjną opisującą dzieje osadnictwa rybackiego w tym miejscu.
W tym domu Żeromski spędził rodzinne wakacje w 1920 r. W Orłowie Żeromski napisał opowieść "Sambor i Mestwin" o dwóch ogromnych bukach, które wypatrzył podczas spacerów w okolice Witomina. Z Orłowa odbywał wycieczki piesze i konne, raz wybrał się statkiem na Hel.