ב-8 בספטמבר 1939, בעקבות התייעצות עם ראשי עיריית קרקוב, החליטו ראשי המשטרה הגרמנית להקים "מועצת יהודים" – יודנראט, ובו 12 חברים, ולמנות ליו"ר את מארק ביברשטיין. מספר חברי המועצה השתנה במהלך החודשים הבאים, ועד סוף שנת 1939 גדל מספרם ל-24 ועם תחילת פעולות הגירוש והאקציות בגטו, ירד מספר החברים בהדרגה, עד ל-6 חברים בלבד.
הגרמנים יידעו את היודנראט כי רק יושב ראש המועצה, ביברשטיין, יהיה אחראי באופן ישיר לקהילה היהודית של קרקוב, ורק הוא ייצג אותה בפני השלטונות הגרמנים. בנוסף, המועצה כפופה אך ורק למשטרת הביטחון ואסור לחברי המועצה לפנות לשום גורם שלטוני גרמני אחר.
עד סוף שנת 1939 נקבע מבנה היודנראט, שכלל 12 ועדות ו-17 מחלקות; בראש הוועדות עמדו חברי היודנראט או סגניהם ותפקיד הוועדות היה פיקוח כללי על הנעשה בתחום עליו הן אחראיות והחלטת החלטות בנושא. הוועדות העיקריות היו: הוועדה לענייני משק דיור וכלכלה, ועדה לענייני סעד, ועדה לענייני בריאות, והוועדה לענייני כספים ומיסים. תפקידן של המחלקות היה להוציא לפועל את החלטות הוועדות.
מצבם של יהודי קרקוב והפליטים הרבים שהגיעו אליה היה קשה, ובעקבות כך הקים היודנראט מוסדות רבים שנועדו להקל על היהודים: הוקמו דירות מגורים משותפות לפליטים בבתים שעדיין היו בבעלות הקהילה היהודית, הוקמו ששה בתי תמחוי שחילקו ארוחות לפליטים וגם ליהודי קרקוב שמצבם הכלכלי הדרדר, והוקמה מגבית לבגדים.
הכספים למימון פעילות היודנראט התקבלו מהג'וינט האמריקאי, "המוסד לעזרה עצמית יהודית", "צנטוס" ותרומות של יהודי קרקוב שהיה באפשרותם לסייע.