ברחוב שרוקה, בקצה המגרש לצד דרום, עומד בנין אבנים מפואר, רחב מידות, שמראה מבצרי לו, נמשך קמעה בכיוון אלכסוני, גגו המקומר מוסתר מתחת לעליית גג חטובת אבן, שחזיתה עשויה שקעים שקעים. כל המבנה העליון עושה רושם של וילון-קפלים, הנאחז בארבע זיזים-עמודונים המתנשאים מעל ארבע פינות הבית. עלית הגג הרנסנסית יושבת כעטרה על גבי החומה הבסיסית, הבנויה בסגנון רומאי, והבנין כולו – אם כי לא נבנה בבת אחת – מהווה חטיבה הרמונית אחת, שדרוג חומותיו מתקשר יפה על ידי זיז התאמה החוגר את כל הבנין סביב. דרך החלונות רואים את עובי החומות הבצורות, הנשענות מחוץ על סמוכות אדירות. זהו בית הכנסת העתיק ביותר בפולין, גאוותם של יהודי קרקוב במשך שש מאות שנים.
על דברי ימי הבית הזה נחלקו דעות ההסטוריונים והאדריכלים. יש הסוברים שהבית נבנה מלכתחילה במצוות המלך קז'ימייז' לשמש אקדמיה למדעים, ואחרי גירוש היהודים מקרקוב נמסר ליהודים כפיצוי על בתי הכנסת שנעזבו על ידם. אולם אין הוכחה היסטורית שתואמת הנחה זו, ולהיפך. היהודים גורשו מקרקוב בסוף המאה החמש עשה ואילו בית כנסת זה נזכר כבר במחצית השניה של המאה הארבע-עשרה. מלבד זאת, הבנין עצמו, סגנונו, סידורו ההנדסי ועקרונות בנייתו, מעדים על תכנון לשמש בית כנסת.
הבית נבנה במתכונת מדוייקת של בית הכנסת העתיק בפראג. אולם התפילה מאורך, שני עמודים תמירים לאורך הבית עליהם נשענת תקרה מקומרת בסגנון גוטי, מחולקת לששה משטחים. בית כנסת זה הוא יחידי בצורתו בפולין, ורק חמישה בתי כנסת דומים היו באירופה, כזה הגבוה והגדול בשטח מכולם.
האדריכל אנטון פלורינטינוס בנה את הבנין מלכתחילה, בצורה רומאית, ורק אחרי זמן נבנתה התקרה המקומרת בסגנון גוט. אחרי הדלקיה הגדולה בשנת 1557 הוקם הבית מחדש על ידי האדריכל הפלורנטיני מטאוס גוצצי, ונבנתה עלית הגג ברוח הרנסנס. מספר פעמים נשרף בית הכנסת, והוא שוקם על ידי הקהילה, שהכניסה בו שינויים ותוספות לפי הצורך. מן התקופה העתיקה ביותר נשארו אולם התפילה הראשי, הפרוזדור החיצון (פאליש) ועזרת נשים ביציע מצד מערב עם חלון מיוחד בשביל "המקריאה" (פארזאגערן) – היא האשה הבקיאה בתפילות, שהיתה מקריאה אותן אחרי החזן, לנשים שלא ידעו בעצמן לקרוא בספר. יתר חלקי הבנין הם מן התקופות המאוחרות יותר.
מן הרחוב יורדים בכמה מדרגות ונכנסים לפרוזדור המקורה במקמרון שטוח. לצדי החדר עמדו ספסלים כבדים ארוכים, ספסלים אשר שמשו פעם מקום ישיבה למחכים בתור לבתי הדין, כי בחצר בית הכנסת ישבו למשפט דייני קרקוב. בפינה נראה באר מעוגלת עתיקה, ממנה שאבו "מים חיים" לרחיצת ידים, במקום הכיור המקובל בבתי כנסת אחרים. מהפרוזדור יורדים שוב בשלוש מדרגות, אל אולם התפילה הראשי שאורכי 17.97 מטר ורוחבו 12.02 מטר, ובסך הכל שטח האולם 217 מ"ר. מעל לכניסה, על משקוף האבן העשוי כקשת, התנוססה כתובת "זה השער לה' צדיקים יבואו בו".
על סיבת ההעמקה של אולם התפילה ביחס לבית החיצון נחלקו הדעות. יש המניחים כי ההעמקה תוכננה על מנת להגיע לגובה מסויים בתוך בית הכנסת, בגלל החוק המגביל את הגובה מצידו החיצוני (אסור היה שבית הכנסת יהיה גבוה מהכנסיה). אחרים סבורים כי ההעמקה רומזת על האמור בפסוק "ממעמקים קראתיך ה'".
שני עמודים תמירים, הנושאים את התיקרה, עומדים על בסיס משולש, וניצבים לאורך האולם בין הכניסה לארון הקודש. בגובהו של כל עמוד זר כפול, ממנו צומחות ועולות צלעות דקות, המתפשטות על פני התקרה המקומרת, מחלקות אותה לששה שדות נפרדים ויורדות ונשענות על גבי בליטות בקירות הבית. בכניסה, מצד שמאל, בשקע קיר, היתה קבועה קופת צדקה מחוטבת בסגנון הברוק, בצורת ארון אבן, וסגורה על ברזל ומנעול חיצוני. מלמעלה היו חרותות האותיות "ב' ב' י' א'" שהן ראשי תיבות "מתן בסתר יכפה אף", ולמטה בעיגול הסגלגל בלטו המילים "כי בצדק'ה י'כ'ו'ן כ'ס'א" המורה על שנת רס"ז (1407). קופסת הצדקה יועדה ל"מתן בסתר", ונבנתה בצידו של הכותל, כדי שאפשר יהיה לשלשל לתוכה מטבעות גם מתוך בית הכנסת וגם מצד חלל הפתח. בפרוזדור משמאל תלויה היתה קופסת צדקה שניה ועליה כתובת "מתן בסתר יכפה אף" וסימן לשנת עשייתה "קול רינה וישועה".
באמצע האולם, בין שני העמודים, התרוממה הבימה – מלאכת מחשבת של ברזל מחושל בזגנון הרנסנס, שהלכה וצרה כלפי מעלה, והסתיימה בקישוט כעין פרח. מסופר כי חרשי הברזל היהודיים בקרקוב, אשר יצרו את הרשת האומנותית הזאת במאה השש-עשרה, חשלו אותה ממאה וחמישים חלקים, כמספר פרקי התהילים ששרו בעת העבודה.
צמוד לכותל המזרחי היה ארון קודש נהדר, בסגנון הרנסנס המאוחר, ומעליו כרכוב אבן שבמרכזו בלט כתר מפוסל מעשה ידי אומן, ומתחתיו באותיות בולטות "בי מלכים ימלוכו". ליד ארון הקודש היתה תיבת אבן ל"נר תמיד" כמנהג קרקוב לתת אותו במזרח. הקירות חלקים ללא קישוט וללא ציור. נותרו אמנם סימנים קלים של פטורי ציצים עתיקים, שרובם נעלמו בעת הדליקות והתיקונים המרובים.
במחצית השנייה של המאה ה-18 נבנה בסמוך לבית הכנסת בית הקהילה, ואלה יחד הפכו למרכז חיי הדת והחברה של הקהילה היהודית בקז'ימייז'. באותה עת שימש בית הכנסת בסיס למאבק הרבנות הקרקובאית בתנועת החסידות – תנועה שהלכה וגדלה בעיר.
על קיר המבואה תלויים צילומים הרומזים לאירועים היסטוריים: הלוח הקבוע בקיר המבואה מנציח את ה"קול קורא" של תדיאוש קושציושקו (1746-1817), ראש המרד, אשר בשנת 1794 קרא ליהודים בבית הכנסת הזה לתמוך במאבק נגד רוסיה. גם דיוקנו של הרב דב בער מייזלס (1798-1870), רבה של קרקוב (מ-1832) ושל ורשה (מ-1857), בין הצילומים. הרב מייזלס היה חסיד גדול ונלהב של שיתוף הפעולה בין היהודים והפולנים ותמך באופן פעיל במאבק לעצמאות פולין. עוד תלוי דיוקנו של פרש הרוכב על סוסו, הלא הוא ברק יוסלביץ (1764-1809), מפקד חטיבה בצבא הפולני. אדם – אגדה, שבעת מרד קושצ'יושקו, בשנת 1794, ארגן חטיבת פרשים קלה של יהודים, לחם עם הלגיונות הפולניים באיטליה ובצבא של נסיכות ורשה, ונפל בקרב מול האוסטרים על יד קוצק, בשנת 1809. הצילומים משנת 1924 הם עדות לביקורו של נשיא הרפובליקה הפולנית, איגנצי מושצ'יצקי, וקבלת הפנים שנערכה לו בחזית בית הכנסת הישן על ידי הרב יוסף קורניצר ונציגי הקהילה היהודית. הצילומים משנות ה‑30 של המאה ה‑20 מציגים את פנים אולם התפילה לגברים כפי שנראה אז ואת המבואה.
בסוף המאה ה‑18 ובמחצית הראשונה של המאה ה‑19 נפתחו עוד עזרות-נשים אשר נבנו מצד דרום וצפון לאולם התפילה של הגברים. החדר הצפוני נוסף לבית הכנסת במחצית הראשונה של המאה ה-17, ומקומו משמאל לארון הקודש. עזרת הנשים הדרומית, שמדרגות הכניסה אליה, מוקמו בצד ימין של ארון הקודש. בתחילה היו עזרות הנשים מחוברות אל אולם התפילה של הגברים רק באמצעות אשנבים בקיר, וכך יכלו הנשים להאזין לתפילה ולהשתתף בה בהדרכת אחת המתפללות. אל עזרות הנשים היו כניסות נפרדות מבחוץ. שינויים נוספים נעשו בבית הכנסת, שהיה בית הכנסת הראשי של הקהילה, גם במחצית השנייה של המאה ה‑19 ובראשית המאה ה‑20.
חזנים ובעלי תפילה רבים שרתו את קהל המתפללים וביניהם שמואל-שמלקה שלר (1942-1857) וישראל גולדברג ששימש חזן משנת 1928 ועד פרוץ המלחמה. גולדברג היה בעל קול בריטון עמוק וחם ומשרה על המתפללים אווירה של יראה ורוממות רוח. בחגים ובמועדים הייתה מלווה אותו מקהלה קטנה של עד עשרה זמרים.
המנהגים וסדר התפילה לא השתנו מאז נוסד בית הכנסת. המתפללים שמרו עליהם במסורת מקודשת מדור לדור ומנהגים מחודשים לא הונהגו בו. אחרי התפילה לא נאמרו לא שיר של יום ולא מזמורים אחרים.
אחרי כיבוש העיר קרקוב על ידי הגרמנים, בספטמבר 1939, נסגר בית הכנסת בפני מתפללים, נשדדו ממנו הפריטים יקרי הערך הרבים שהיו במקום והבניין שימש כמחסן. אחרי המלחמה נשאר הבניין בחורבנו במשך כעשור. בשנים 1956-1959 שוקם מבנה בית הכנסת על ידי קרן הקהילה היהודית של העיר, ונמסר לשימושו של המוזיאון ההיסטורי של העיר קרקוב. במקום נפתח מוזיאון יהודי, שבו מבקרים מידי שנה תיירים רבים מפולין ומחוצה לה.