Cmentarz powstał prawdopodobnie w latach 60. XVIII w. i służył aż do czasów drugiej wojny światowej. W czasie I wojny światowej powstała tu kwatera wojenna nr 130B z pochówkami żołnierzy żydowskich. W czasie II wojny światowej cmentarz był miejscem kaźni i rozstrzelań ludności żydowskiej. Znajdują się tu dwie mogiły zbiorowe, pierwsza kryje szczątki 11 ludzi rozstrzelanych w parku Grybowskim w 1942r., druga kryje szczątki 150 osób rostrzelanych bezpośrednio na kirkucie. Prawdopodobnie chowano tu również już wcześniej w 1940r.



Po wojnie rozpoczął się kolejny proces destrukcji cmentarza, cały teren przeszedł w mienie skarbu państwa. Dopiero 15 października 1992r. został wpisany do rejestru zabytków. Obecne ogrodzenie pochodzi z 2000r., postawione dzięki staraniom rabina Mendla Reichberga i Jakuba Müllera. Na teren kirkutu przewieziono macewy znalezione w pobliskim browarze. W 2019r. staraniem Fundacji Rodziny Popielów w ramach projektu "Ludzie, nie Liczby" odsłonięto tablicę pamiątkową z nazwiskami 1774 Żydów - ofiar II wojny światowej, pochodzących z Grybowa i okolic. Oznaczono również dwie mogiły zbiorowe.



Na cmentarzu znajduje się ponad 80 macew z czytelnymi inskrypcjami oraz około 40 zupełnie nieczytelnych lub uszkodzonych. Dodać należy do tego macewy w formie szczątkowej (fragmenty kamienia z pojedynczymi literami hebrajskimi), pozostałości płyt poziomych i cokołów. Najstarszy sektor cmentarza znajduje się w części zachodniej, co potwierdza macewa z 1776r.