בראשית מאי 1940 פרסם המושל האנס פרנק הודעה לפיה היה על יהודי קרקוב לפנות את העיר (לפני המלחמה התגוררו בעיר כ-60,000 והפליטים הרבים שבאו לעיר הגדילו את מספרם לכ-80,000 אנשים). במהלך שלושה חודשים, מה-18 במאי 1940 ועד ה-15 באוגוסט, עזבו יהודים רבים, כאילו מרצונם החופשי, את העיר לכיוון מזרח.
בנובמבר 1940 החל הגירוש בכוח של יהודי קרקוב לעיירות הסביבה. עתה הורשו היהודים לשאת עמם רק מטען של 50 קילוגרמים לנפש. עד מרץ 1941 גורשו בכוח כ־40,000 יהודים (נוסף על העוזבים עצמאית), ובעיר נשארו כ־21,000 יהודים רשומים, שלפי הגרמנים היו נחוצים למאמץ המלחמתי (בלי להביא בחשבון כ־6,000 יהודים משוערים ששהו בעיר באופן בלתי חוקי).
ביולי 1940 הקים היודנראט, בפקודת השלטון הגרמני, את המשטרה היהודית, וזאת כדי להחיש את קצב העזיבה של היהודים מקרקוב, וכן הוקמה ביודנראט "ועדה מיוחדת", שהיתה מורכבת מנציגי השלטון וחברי היודנראט, לטיפול באלפי הפניות לבקשת אישור מיוחד להישאר בעיר. הראשונים שנדרשו לעזוב את העיר היו הפליטים שהגיעו אל קרקוב מכפרי הסביבה ומשטחים שסופחו לרייך, ואלה קיבלו מענק כספי קטן כדי לסייע להם. בספטמבר 1940 הופסקה פעילויות ה"ועדה המיוחדת", וכל חבריה, ביניהם מארק ביברשטיין, נאסרו בחשד לקבלת שוחד ונגזרו עליהם חודשי מאסר רבים. במקומו מונה ליו"ר היודנראט עו"ד ד"ר ארתור רוזנצוויג.