בית העלמין היהודי הקדום ביותר הידוע לנו נוסד בקרקוב בסוף המאה ה-13 או בתחילת המאה ה-14, כשראשוני היהודים התיישבו בעיר, סמוך לכיכר העיר העתיקה. מרכז החיים היהודיים היה ב"רחוב היהודים" (ulica Żydowska), שם הם בנו לצרכיהם שני בתי כנסת ובית עלמין. בית העלמין נבנה כנראה מעבר לחומה, בקרבת שער היהודים.
בגלל התרחבותה של האוניברסיטה היאגלונית, שנוסדה בשנת 1364, נאלצו היהודים למכור את השטח עליו ניצבו כל נכסיהם ומוסדות הדת שלהם, שני בתי הכנסת, בתי חולים, בית מרחץ ובית העלמין (1469). השטח "טואטא" משרידי היישוב היהודי ובמקום נבנו בנייני קולגיום נוספים של האוניברסיטה היאגלונית. מעבר היהודים לאזור כיכר שצ'פאינסקי (Plac Szczepanski), שדמה כמעט לגירוש, אילץ אותם לבנות את כל מוסדותיהם מחדש, פרט… לבית עלמין. הקהילה המשיכה לקבור את מתיה בבית עלמין שברחוב היהודים עד הגירוש הסופי מקרקוב, בשנת 1495.