בית העלמין הצמוד לבית הכנסת של הרמ"א (ר' משה איסרליש) ברחוב שרוקה (Szeroka) נפתח לקבורה בשנת 1552, לחללי מגיפת הדבר שהתחוללה בשנים 1551/52 והפילה חללים רבים (כמאתיים מתים בשנה). בית העלמין נבנה באופן בלתי חוקי על חלקה בשטח של 45 דונם, שנקנתה כבר בשנת 1533, והקמתו אושרה בדיעבד. שער הכניסה לבית הקברות היה ברחוב יעקובה (ul. Jakuba) סמוך לקברו של ר' יום טוב ליפמן הלר.
בית עלמין זה הוא מהעתיקים ביותר שנשתמרו בפולין והמצבה העתיקה ביותר בו היא משנת 1553. בין רבני קרקוב נמצא את: הרמ"א, שעל מצבתו חרוט המשפט "ממשה ועד משה לא קם כמשה" (נפטר ב-1572), נתן נטע שפירא (נפטר ב-1633), יואל סירקס (נפטר ב-1640), יצחק יעקובוביץ, מייסד בית הכנסת 'אייזיק' (נפטר 1653), יום טוב ליפמן הלר (נפטר ב-1654).
במחצית הראשונה של המאה ה-19 נפתח בית עלמין חדש, ובבית העלמין הזה נקברו רק מעטים. השער שברחוב יעקובה נסתם ובמקומו נפתח שער חדש, הקיים עד היום, סמוך לכניסה לבית הכנסת של הרמ"א. במשקופו של השער נקבע לוח אבן וזו הייתה לשונו:
"בית עלמן הישנה ומקום קברת הגאונים
נתיסדה מכופת הקהלה בשנת ש"יא לפ"ק"
במהלך המאה ה-19 הוזנח בית העלמין. רק המצבות של גדולי הדור זכו לתחזוקה מתאימה, החלק הארי של המצבות התפורר, נסדק ונפל. בתקופת מלחמת העולם השנייה נהרס בית העלמין כמעט לחלוטין, ורק כתריסר מצבות בלבד נותרו על עומדן.
במהלך השנים שלאחר המלחמה הוצבו למעלה מ-700 מצבות במקומן ועברו תהליך של שיפוץ.
באותן שנים נאספו שברי מצבות, שנמצאו בבית העלמין ובסביבתו, ושובצו בקיר פנימי של בית העלמין. קיר פסיפס זה מכונה היום בשם "כותל הדמעות".
מצבות בבית העלמין הישן של הרמ"א
| שם משפחה
|
שם פרטי
|
שם אב
|
הערה
|
שנת פטירה
|
מצבה
|
| יושוע
|
יוסף
|
1648 | 683 | ||
| יעקב
|
ישראל יוקלס
|
1628 | 503 | ||
| מרדכי (מלמד)
|
יהושע זליג הירש
|
1795 | 1 | ||
| גיטל
Gitel |
משה אורבך
|
1552 | 195 | ||
| חיה
|
נחמן (מלבוב)
|
משה יצחק
|
1629 | 640 | |
| יהודה לייב (רמ"מ)
|
1639 | 364 | |||
| יוסף
|
גרשון
|
גיסו של הרמ"א | 1591 | 201 | |
| יוסף
|
משה
|
1800 | 266 | ||
| יושע העשעל
|
1663 | 682 | |||
| יעקב
|
משה
|
1603 | 503 | ||
| מאיטה
|
הרב יוסף אנטולאבן
|
1615 | 237 | ||
| מרים בלה
|
אחות הרמ"א | 1617 | 197 | ||
| נחמה חיה
|
אייזיק סגל
|
1842 | 33 | ||
| קיילה
|
עזריאל
|
1576 | 390 | ||
| רבקה
|
שלום
|
1612 | 503 | ||
| שמואל
|
משולם
|
רופאו של המלך זיגמונד | 1552 | 678 | |
| שרה
|
משה
|
257 | |||
| לנדאו
|
יהודה לייב
|
יקותיאל זלמן
|
1632 | 6 | |
| אברלס
|
משה
|
1557 | 256 | ||
| איסרלס
|
גולדה
|
שלום שכנא
|
אשת הרמ"א | 1552 | 195 |
| איסרלס
|
יצחק
|
ישראל
|
1585 | 200 | |
| איסרלס
|
ישראל
|
יוסף
|
1568 | 198 | |
| איסרלס
|
מלכה
|
אמו של הרמ"א | 1552 | 260 | |
| איסרלס
|
משה, הרמ"א
|
ישראל
|
1572 |
199 | |
| ארונוביץ
|
יצחק
|
1613 | 364 | ||
| אשכנז
|
אליעזר
|
1585 | 272 | ||
| אשכנז
|
רחלה
|
אליעזר
|
1593 | 270 | |
| דמשק
|
אליעזר, דיין
|
יוסף
|
1847 | 72 | |
| הכהן
|
שלום שכנא
|
1688 | 211 | ||
| הלוי
Halewi |
יצחק
|
מרדכי
|
1799 | 675 | |
| הלר
|
יום טוב ליפמן
|
1654 | 630 | ||
| זימלס
|
יהודה לייב
|
ישראל
|
1785 | 306 | |
| חאלפניס
|
חוה
|
אשר בן יהושע
|
לייב
|
1608 | 432 |
| חריף
|
משה
|
1553 | 290 | ||
| יעקובוביץ
|
ברינדל
|
יצחק
|
1650 | 204 | |
| יעקובוביץ
|
יצחק
|
מייסד בית כנסת אייזיק | 1653 | 212 | |
| כץ
|
זלמן
|
לסק בן אליעזר
|
1753 | 33 | |
| כץ (קפלן)
|
משה
|
306 | |||
| לנדאו
|
יצחק, רב
|
1768 | 120 | ||
| לנדאו
|
יקותיאל זלמן
|
יהודה לייב
|
1614 | 6 | |
| מייזלס
|
אברהם חיים
|
הרב בער
|
1843 | 45 | |
| מייזלס
|
דרעזעל
|
משה איסרלס (רמ"א(
|
שמחה בונם
|
1560 | 259 |
| מרגליות
|
מרדכי
|
1617 | 192 | ||
| סבא-סינגר
|
מרדכי
|
1576 | 261 | ||
| סירקס
|
יואל
|
1640 | 696 | ||
| קאלאהורה
|
מיכאל
|
מתתיהו
|
1663 | 681 | |
| קופלמן
|
שמעון משה
|
יעקב
|
1650 | 204 | |
| קלישר
|
יהודה לייב
|
1744 | 350 | ||
| שניידר
|
יצחק
|
צבי
|
1612 | 477 | |
| שפירא
|
דבורה
|
נתן
|
1642 | 222 | |
| שפירא
|
יצחק
|
דוד
|
1582 | 332 | |
| שפירא
|
נתן
|
1633 | 223 | ||
| שפירא
|
רוזה
|
משה יעקובוביץ
|
נתן שפירא
|
1642 | 224 |