כבר בשנות ה-80 של המאה ה-19 החלו מאמצים של הציבור "המתקדם" להקים ספרייה יהודית מודרנית, שהאוסף שלה לא יכלול רק ספרות דתית. הרעיון זה נדון, בין היתר, בדיונים של ראשי הקהילה היהודית הדתית המקומית בשנים 1889 וב-1891. המכשולים העיקריים היו מחד, התנגדות של החברים האורתודוקסיים יותר שלא ראו צורך בהקמת ספרייה עם ספרים חילוניים, ומאידך, היעדר משאבים כספיים מספיקים. רק בשנת 1894 הוחלט להקצות למטרה זו 400 כתרים מתקציב השנה הבאה, אך פעולות מעשיות להקמת הספרייה החדשה החלו רק ב-1898. התומך העיקרי להקמתה ספרייה היה הרב ד"ר יהושע טהון, רב בית התפילה הפרוגרסיבי "טמפל", אשר עודד אנשים לתמוך ברעיון הזה גם בדרשותיו בפני המתפללים.
בנובמבר 1898 הוקמה ועדה לספרייה, שכללה את נציגי מועצת הקהילה היהודית הדתית ונציגים של שלוש אגודות קרקוב: אגודת ישראלים מתקדמים, אגודת "בני ברית-סולידריות" ואגודת 'שפת אמת". הוועד החל בכתיבת תקנון לספריה, ושלושת האגודות החליטו על למתן תמיכה כספית שנתית לספריה. הוקמה אגודה בשם 'עזרא" – על שמו של עזרא המקראי, ממנהיגי היהודים שחזרו מגלות בבל. הספריה וחדר קריאה ציבורי נחנכו רשמית באוגוסט 1899, לרגל יום השנה ה-50 לשלטונו של הקייסר פרנץ יוזף הראשון, שחל באותה שנה.
החברים המייסדים של עמותה "עזרא" היו הקהילה היהודית הדתית, אגודת ישראלים מתקדמים, בני בנית-סולידריות, וכן אנשים שתרמו לפחות 200 כתרים לספריה. מטרת עמותה הייתה "להפיץ חינוך וידע יהדות על ידי: א) הקמת ותחזוקה של ספרייה וחדר קריאה – חינם, ב) הקמת ותחזוקה של ספרייה בתחומי מדע אחרים, ג) על ידי ארגון קורסי עברית חינם והרצאות מדעיות לציבור. את פעילות העמותה ריכז ועד שבו 15 חברים שנבחרו לתקופה של שנתיים : שלושה חברים לקהילה היהודית הדתית, שלושה לאגודת ישראלים מתקדמים, שניים ל"בני ברית-סולידריות" ועוד 8 חברים שנבחרו באסיפה כללית על ידי מי שתרמו 20 הלר לחודש. חברי הוועד הראשון היו: ליאון הורוביץ, הרמן הירש, יהושע טהון, אדולף פישלר, יוסף גולדווסר, זיגמונט קליין, מנדל פם, יאן אלברט פרופר, ה. לנדאו ויוליוש שונווטר. באסיפה הכללית הראשונה שהתקיימה באוקטובר 1899, מונה ליושב ראש ליאון הורוביץ, יושב ראש הקהילה היהודית הדתית, הרב ד"ר יהושע טהון וזיגמונט קליין היו סגניו, לודוויק גולדווסר היה המזכיר, ומנדל פם מונה לגזבר. לאחר פטירת היו"ר ליאון הורוביץ, בפברואר 1905, מונה במקומו שמואל טילס, אז יו"ר הקהילה היהודית הדתית.
הספריה מוקמה בדירה בת ארבעה חדרים ואולם בקומה הראשונה של בית דירות ברחוב דיטלה 33, שהושכרה משעיה וחנה מוזס תמורת אלף כתרים בשנה. אוסף הספרים הראשוני של ספריית עזרא כלל 1,600 ספרים שנתרמו על ידי אגודת ישראלים מתקדמים, אגודת סולידריות ואגודת שפת אמת, ולאחר מכן נתרמו ספרים מאוספים פרטיים. הספרים הטבעו בחותמת של ספריית עזרא ולצידה היו גם חותמות של הבעלים הקודמים.
בסוף שנת 1900 כלל אוסף הספרייה כ-1,700 ספרים, עד סוף 1904 גדל המספר ל-2,857 כרכים, ובתחילת 1907 היו בספריה 3,469 ספרים, כולל 2,101 יצירות בעברית. אוסף הספרים הגיע למספר של 6,000 פריטים בשנת 1927. אוסף הספרייה כלל פרסומים בעיקר בעברית אף גם ביידיש, בגרמנית ובפולנית), בתחומי היסטוריה כללית, היסטוריה יהודית, פרסומים, יצירות מדעיות, שנתונים ולוחות שנה, וכן כתבי עת ועיתונים.
מהדוחות השנתיים ל-1902-1901 עולה כי בתקופה זו הושאלו 1,161 ספרים, מתוכם 681 בעברית, ובחדר הקריאה ביקרו 7,270 איש – מתוכם 550 בעלי מלאכה, 1,675 תלמודיסטים ו-1,057 עוסקים במסחר. ועוד, בשנים 1906-1905 ספרות ושירה נקראו בתדירות הגבוהה ביותר בחדר הקריאה, אחריה – שנתונים ולוחות שנה, ובמקום שלישי – היסטוריה יהודית. הפרסומים הועמדו, ללא תשלום לרשות כל חברי הקהילה לעיון בחדר הקריאה של הספרייה, ופיקדון נגבה רק כאשר מישהו רצה לשאול ספר לביתו. בשנה הראשונה לפעילות הספריה הגיע מספר ההשאלות לכ-10,000 וכבר בסוף שנת הפעילות הראשונה, בסוף נובמבר 1900, נפתחו בספריה קורסים ללשון וספרות עברית ולהיסטוריה יהודית.
עמותת "עזרא" העמידה ברצון את שטחי הספריה לרשות אגודות יהודיות אחרות, הקשורות לרוב לציבור הציוני, לצורך ארגון אירועי תרבות ומפגשים שונים.
בשנת 1911 עברה הספרייה למקום אחר, והחל מינואר 1912 שכנה המטה בקומת הקרקע של בניין הקהילה היהודית, בפינת הרחובות קרקובסקה 41 וסקווינסקה 2. על פי ההסכם שנחתם עם הקהילה היהודית כלל שטח הספרייה אולם גדול, שני חדרים, מלתחה ושירותים ושכר הדירה היה 1,200 כתרים. עוד נאמר בהסכם כי לא יתאפשר שימוש במקום "בחגים יהודיים באופן הפוגע ברגשות הדת או העלול לגרום לשערורייה בקרב האוכלוסייה היהודית". הכללת סעיף זה בחוזה הושפעה מחוגים אורתודוכסים, שהתנגדו להקמת הספרייה כבר מראשיתה והתלוננו על חילול שבת, ועל כך שהספריה משמשת "לחנך את העולם התחתון" ולא את האליטה העתידית.
לאורך כל קיומה נתמכה ספריית עזרא רק על ידי חוגים מתקדמים. בנוסף למוסדות שכבר הוזכרו, הספרייה נתמכה גם על ידי "נובי דז'ינניק" שפרסם מידע על הספריה ועל ההחלטות שהתקבלו על ידי הוועד.
מלבד היחס השלילי של האורתודוקסים, נאבקה הספרייה בכל שנות קיומה בחיסרון כיס ולמרות שהמוסד נתמך גם על ידי אנשים פרטיים הרי ההוצאות היו גדולות מההכנסות. בשנת 1912 עברה הספריה למקום אחר ובעקבות המעבר נדרשו כספים רבים כדי להתאים את המקום החדש לתפקידו כספריה. המשבר הגדול ביותר פקד את הספרייה במהלך מלחמת העולם הראשונה, כאשר רוב הארגונים הפסיקו את התמיכה הכספית והספריה הגיעה כמעט עד לכדי צורך למכור את נכסיה.
בשנת 1927 היה פרופ' דרייבלט יו"ר הספרייה והצליח, בתמיכת אגודת "בני ברית" לארגן את הספרייה מחדש והחלה עבודה על קטלוג חדש. כוונת מארגני הספרייה הייתה לפתוח מוסד שיהווה מרכז לפיתוח ידע יהדות, אך בהשוואה למוסדות אחרים מסוג זה היה אוסף הספרים של עזרא צנוע למדי, אם כי כונה "הספרייה היגלונית" הקטנה. רק בשנת 1938 זכתה הספרייה לתמיכה כספית גדולה מאגודת "בני ברית-סולידריות" ואז הועברה למתחם חדש ברחוב גרטרודי 9. ב-21 בנובמבר 1938 התקיים אירוע חנוכת המקום והוחלט לשנות את שם הספרייה ואולם הקריאה על שמו של הרב ד"ר יהושע טהון.
זמן קצר לאחר מכן הפסיקה אגודת "בני ברית" את תמיכתה בספרייה ונסגרה בשל חובות. אוסף הספרים הוערך בכ-6,000 פריטים, אלה הוחרמו על ידי שלטונות הכובש הגרמני.חלקם הועבר לאוניברסיטה היגלונית וחלק אחר – לפחות 414 ספרים – הועבר לגרמניה. את גורלו של אוסף הספרים לאחר המלחמה, כמו במקרה של אוספים יהודיים אחרים, קשה לשחזר. חלק מהספרים נשמרו בספריות פולניות וגרמניות, ואפשר למצוא אחדים מספרי ספריית "עזרא" בספריית המכון ההיסטורי היהודי, בספרייה הלאומית, בספרייה היגילונית, בספריית המכון למדעי היהדות של האוניברסיטה היגילוני וכ-200 עותקים של ספרים שמורים במוזיאון ההיסטורי של העיר קרקוב ובמוזיאון בבית הכנסת ה"ישן". עותקים בודדים של ספרים נמצאים גם באוספים של אספנים פרטיים.
ההיסטוריה בת ארבעה עשורים של הספרייה הציבורית וחדר הקריאה "עזרא" ידעה עליות ומורדות, אך עצם פתיחתו של מוסד מודרני חינוכי לרשות הקהילה היהודית הכללית היה פריצת דרך, והקהילה היהודית הדתית של קרקוב הייתה בין הראשונות שהצליחה בכך. אין ספק כי לרב ד"ר יהושע טהון יש תרומה מכרעת להקמת הספרייה וחדר הקריאה.