האם H-index הוא כלי מהימן להערכה תפוקה ואימפקט של חוקרים?
מדד h-index נמצא בשימוש נרחב באקדמיה להערכת ההשפעה והמוניטין של חוקרים, ולעיתים קרובות משמש גם בקידום חוקרים ומסייע לקבלת מענקי מחקר (Cooper et al., 2021; Geraci et al., 2015; Thelwall & Kousha, 2021). עם זאת, המדד עורר מחלוקות בקרב חוקרים מאז הוצג על ידי הירש (Moed, 2005, 2017).
מספר גדל והולך של חוקרים הציעו לנרמל את מדד h-index כדי להתגבר על ליקוייו. למשל, מדד ה-AR, שמתחשב ב"גיל" של הפרסומים ומסיר הטיה כלפי חוקרים צעירים (Jin et al., 2007); מדד χ, שמאזן בין מספר הפרסומים והציטוטים לחוקרים עם הרבה פרסומים אך מעט ציטוטים (Fenner et al., 2018); ומדד h-frac, שמחלק את ספירת הפרסומים והציטוטים בין המחברים בפרסומים עם מספר מחברים (Thelwall & Kousha, 2021). עם זאת, למרות ההשגות וההצעות למדדים אחרים, ה – h-index עדיין זוכה להכרה הרחבה ביותר באקדמיה.
מדד H-index במאגרי ציטוטים
במאגרי ציטוטים, מדד h-index מחושב באופן אוטומטי על ידי המערכת ונשמר בפרופיל של חוקרים. המדד נקבע על על-פי מסד הנתונים של כל מאגר ציטוטים, ולכן חוקרים עשויים לקבל מדד h-index שונה בכל מאגר. הסוגיה נדונה במחקר משווה של בר-אילן (2008 ,Bar-Ilan ) בין מדדי ה –h-index בשלושה מאגרי ציטוטים מרכזיים: WoS, Scopus ו – Google Scholar. נמצא כי במדדי ה – H–index של קבוצת החוקרים במאגרי הציטוטיים המסורתיים, Scopus ו – WoS לא נמצאו הבדלים משמעותיים, כאשר בהשוואה לפער גדול ביחס למדדי ה h-index של החוקרים ב – Google Scholar שנמצאו בפעמים רבות בערכים גבוהים יותר.
מדד ה-h בהשוואה בין חוקרים
ה-h-index יכול להוביל לאי דיוק בהשוואת השפעתם של חוקרים שונים, כאשר שני חוקרים יכולים לקבל את אותו מדד ה-h, למרות לאחד מהם יש מספר גבוה יותר של פרסומים וציטוטים. לדוגמה, חוקר עם 5 פרסומים ו-55 ציטוטים (בסדר יורד של מספר הציטוטים לפרסום: 21, 16, 12, 4, 2) מדד ה-h שלו יהיה 4. מאידך ייתכן מקרה בו חוקר עם 7 פרסומים ו-108 ציטוטים (43, 25, 16, 15, 4, 3, 2) יקבל אף הוא מדד h של 4.
ההשפעה של גיל אקדמי ושלב בקריירה של חוקרים על מדד ה-h
השימוש ב-h-index להערכת חוקרים מוביל להטיה כלפי חוקרים צעירים בתחילת הקריירה, בהשוואה לחוקרים בכירים או מנוסים יותר (Bornmann & Daniel, 2007; Thelwall & Kousha, 2021). "הגיל האקדמי" מתייחס לשנים שחלפו מאז הפרסום הראשון של חוקר ועד לעדכני ביותר. כך שחוקרים הפועלים במשך תקופה ארוכה יותר נוטים להציג מדדים גבוהים יותר (Bar-Ilan, 2008). כאלטרנטיבה להתגבר על מכשול זה ג'ין ואחרים (Jin et al., 2007) הציעו לנרמל את מדד ה-h לפי ה"גיל אקדמי" בחישוב המדד (AR-index).
הטיה מגדרית במדד ה-h
ת'לוול (Thelwall, 2020) מציין היסטוריה ממושכת של אפליה גלויה וסמויה כלפי נשים באקדמיה. מדגיש גורמים המעמיקים את אי-השוויון, כגון סטריאוטיפים שליליים כלפי נשים וקשיים באיזון בין קריירה אקדמית לבין מחויבויות משפחתיות, אשר לעיתים רבות מיוחסות לנשים. מדד ה-h-index מציג הטיה מגדרית מובנית משום שהוא מתבסס על מספר הפרסומים והציטוטים. מספר מחקרים (Kelly & Jennions, 2007 ;Geraci et al., 2021; Cooper et al., 2021) הצביעו על תפוקת מחקר נמוכה יותר לנשים חוקרות בהשוואה לגברים ומתאם בין המגדר לגובה מדד ה – h.
אי-לכך כאשר ה – h-index ממשיך להוות כאחד מהכלים המרכזיים בהערכה וקידום חוקרים באקדמיה, קיים הפוטנציל להעצמה של ההטיה והשפעה על הערכה שוויונית כלפי נשים באקדמיה.
האקדמיה בישראל
ממחקר על הבדלי מגדר באקדמיה בישראל (Cooper et al., 2021), בדק את המתאם בין תפוקה (מספר הפרסומים) ואימפקט של מחקר (מספר ציטוטים) לתת-ייצוג של נשים באקדמיה. נבחרו ארבעה תחומים, כל אחד מייצג דיסציפלינה אחרת: פסיכולוגיה (מדעי החברה), בריאות הציבור (מדעי הבריאות), בלשנות (מדעי הרוח) וכימיה (מדעים מדויקים). הממצאים הצביעו על הבדל משמעותי במגדר, עם ממוצע פרסומים נמוך יותר לנשים בכל ארבעת התחומים. בכל התחומים, מלבד בלשנות, גברים פרסמו יותר בכתבי עת מדורגים גבוה יותר לעומת נשים, בעוד שבתחום הבלשנות היה יחס הפוך. בנוסף, במספר תחומים ממוצע הציטוטים של נשים עלה במהלך השנים.
השפעת פרסום עם מחברים-שותפים על מדד ה-h של חוקרים
פרסומים הנכתבים בשיתוף פעולה בין חוקרים מעלה את הפוטנציאל לעלות את מדד ה-h של המחבר השותף. שיתופי פעולה מאפשרים מחקר רחב ומעמיק יותר, ומובילים לתוצרים מקיפים יותר. בנוסף, שיתופי פעולה יכולים להגביר את הנראות וההשפעה, שכן כל מחבר יכול לתרום בהפצת הפרסום ברשת העוקבים והעמיתים שלו (Pruschak, 2021). כך למשל במחקר של בירנבננד וצ'ראג'י (Biranvand & Cheraghi 2022) נמצא במאגר הציטוטים של Web of Science, מתאם משמעותי בין מחברים עם מספר גבוה יותר של פרסומים בשיתוף מחברים נוספים לבין מדדי ה – h-index שלהם.
קולטון והפנר (2021 ,Koltun & Hafner) הציעו לשנות את מדד ה – h-index כך שכל מחבר שותף יקבל חלק יחסי מהציטוטים בהתאם לתרומתו למחקר. בנוסף הם מצאו כי מדד ה H-index עשוי להיות פחות יעיל בהערכת פרודוקטיביות מחקרית ולא אמין בקביעת מוניטין של חוקרים בתחומי המדעים (ביולוגיה ופיזיקה) ומדעי המחשב. שינויים בפרקטיקות המחקריות בתחומים אלו, עם עלייה גדולה בפרסומים עם מחברים שותפים רבים, הפכו את מדד ה-h-index פחות אפקטיבי ככלי הערכה לאימפקט של חוקרים. קרונין (Cronin, 2001) אף חקר את התופעה של מספר רב מאוד של מחברים-שותפים (hyper authorship) בתחום הביו-רפואה, שאף כללו לעיתים מעל חמישים מחברים לפרסום.
לעומת זאת, מחקרים אחרים כדוגמת מחקר של סדיגי (Sedighi, 2022) לא מצא מתאם בין אימפקט גבוה של חוקרים בתחום מדעי החברה לבין מספר גדול יותר של פרסומים בשיתוף פעולה עם מחברים נוספים. התוצאות הצביעו על כך כי מספר מחברים לפרסום אינו גורם בקביעת האימפקט של החוקרים. ייתכן כי חוסר המתאם הוא תלוי תחום מחקר, כאשר במדעי החברה התופעה של פרסומים עם מספר רב של מחברים אינה נפוצה בדומה למדעים.
תהליכי שינוי
אחת המגמות המתפתחות באקדמיה היא שילוב מדדים מורכבים להערכת חוקרים, תוך דגש על איכות המחקר. במסמך של המל"ג (המועצה להשכלה גבוהה, 2015) מודגשים מספר עקרונות: יש להבחין בין פרסומים שעברו שיפוט מדעי לבין אלו שלא. בנוסף, יש לציין את התרומה היחסית של החוקר בפרסומים משותפים. מומלץ לכלול, עבור מאמרים, נתונים נוספים במידה והם זמינים, כגון ממוצע IF (Impact Factor) לשלוש או חמש השנים האחרונות, דירוג כתב העת בתחום, ומספר הציטוטים למאמר למעט ציטוטים עצמיים.
עם זאת, תהליכי השינוי בהערכת חוקרים באקדמיה עדיין בשלבי התהוות, תוך שאיפה לצמצום הטיות ולהתמודדות עם המגבלות של ה – h-index.
ביבליוגרפיה:
Biranvand, A., & Cheraghi, Z. (2022). Investigating the relationship between altmetrics indicators and scientometric indicators of Iranian researchers in the field of nursing in the period 2000-2019. International Journal of Information Science and Management (IJISM), 20(3), 215-225. https://dorl.net/dor/20.1001.1.20088302.2022.20.3.12.9
Bornmann, L., & Daniel, H. D. (2007). What do we know about the h index?. Journal of the American Society for Information Science and Technology, 58(9), 1381-1385. https://doi.org/10.1002/asi.20609
Cooper, T., Aharony, N., & Bar-Ilan, J. (2021). Gender differences in the Israeli academia: a bibliometric analysis of different disciplines. Aslib Journal of Information Management, 73(2), 60-179. https://doi.org/10.1108/AJIM-05-2020-0170
Cronin, B. (2001). Hyperauthorship: A postmodern perversion or evidence of a structural shift in scholarly communication practices?. Journal of the American Society for Information Science and Technology, 52(7), 558-569. https://doi.org/10.1002/asi.1097
Hirsch, J.E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569–16572.
Moed, H. F. (2005). Citation analysis in research evaluation. Dordrecht, England: Springer.
Moed, H. F. (2017). Applied evaluative informetrics. Springer International Publishing.
Sedighi, M. (2022). Altmetrics analysis of selected articles in the field of social sciences. Global Knowledge, Memory and Communication, 72(4/5), 452-463. https://doi.org/10.1108/GKMC-07-2021-0124
Thelwall, M. (2020). Female citation impact superiority 1996–2018 in six out of seven English‐speaking nations. Journal of the Association for Information Science and Technology, 71(8), 979-990. https://doi.org/10.1002/asi.24316
