בית העלמין הצמוד לבית הכנסת של הרמ"א (ר' משה איסרליש) ברחוב שרוקה (Szeroka) נפתח לקבורה בשנת 1552 והוא מהעתיקים ביותר שנשתמרו בפולין. בית העלמין היה פעיל עד שנת 1800, כאז נפתח בית העלמין "החדש" ברחוב מיודובה.
בתקופת מלחמת העולם השנייה נהרס בית העלמין כמעט לחלוטין, ורק כתריסר מצבות בלבד נותרו על עומדן. במהלך השנים שלאחר המלחמה הוצבו למעלה מ-700 מצבות במקומן ועברו תהליך של שיפוץ.