אורח: ד"ר נעם פישמן מנחה: ד"ר ליאת בסיס
עד 2008 למדתי להעריך תהליכי מיון דרך שני קריטריונים בלבד – תוקף ויעילות. מפגש עם עירית תמיר, מנכ"לית קו משווה בזמנו, פתח לי צוהר לקריטריון נוסף של הוגנות, שרק בשנים האחרונות תופס תאוצה בישראל. זה מה שנולד מאותו המפגש: קישור לממצאי מחקר קו משווה בנושא אבחון רב תרבותי ביוני 2015 נשא נשיא המדינה, רובי ריבלין, דברים בכנס הרצליה. עיקר המסר שלו נסב סביב החלוקה של המדינה לארבעה שבטים מובחנים, והזכיר כי כיתות א' היום מורכבות מכ-38% חילונים, 15% דתיים, כרבע ערבים וכרבע חרדים. הוא דיבר על החשיבות שביצירת שותפות בין ארבעת השבטים הללו וציין כי היא צריכה להיות מבוססת על ארבעה יסודות. אחד היסודות שציין הוא האחריות המשותפת להתמודד עם אתגר הצמיחה במשק והאחר הוא הוגנות ושוויון – להבטיח שאף אזרח אינו מופלה לרעה או לטובה מתוקף השתייכותו המגזרית. את השותפות הזו, כך לדבריו, יש ליישם בכל זירה בחיינו. אחת הזירות המשמעותיות היא זירת התעסוקה בה עדיין תהליכי מיון חשודים כמי שמהווים חסם לקבוצות מגוונות להשתלב. הזמנתי את ד"ר נועם פישמן להתארח בבלוגומטרי ולספר קצת על המחקר והפיתוח המתהווים בישראל בתחום המיון הרב תרבותי.
שלוש עובדות על נועם.
1. יליד ברוקלין, ניו יורק. עלה בגיל 30 לאחר שהשלים תואר שלישי בפסיכולוגיה מחקרית ב-CUNY – City University of New York.
2. חוקר 9 שנים במכון ברוקדייל בתחום התעסוקה והעוני. במסגרת זו מבצע מחקרי הערכה רבים, בתכניות תעסוקה שמעודדות אנשים מקבוצות מגוונות להשתלב או להתקדם בתעסוקה. מתמחה בתחום של קליטת יוצאי אתיופיה בדגש על תעסוקה.
3. בשנים האחרונות הוביל את המחקר של אמת (אבחון מותאם תרבות) עבור ג'וינט ישראל, תב"ת, שעליו יספר מיד.
נועם היי! איך מצאתם את עצמכם מתעסקים בנושא של אבחון מותאם תרבות? בתבת (ראשי תיבות של "תנופה בתעסוקה", תכנית של ג'וינט ישראל וממשלת ישראל שמטרתה לצמצם את מעגל העוני על ידי שילוב וקידום בתעסוקה) התקבלו דיווחים ממשרדי הממשלה שיש קושי לגייס מועמדים ממוצא אתיופי בכלל ואפילו במכרזים ייעודיים ליוצאי אתיופיה. מצד אחד הגישו מועמדות מעטים, מצד שני היה קושי בתהליך המיון לאתר את המועמד המתאים.
במקביל התקבלו דיווחים דומים מהמגזר העסקי והבטחוני שגם כשיש את הרצון להעסיק מועמדים ממוצא אתיופי, יש קושי בגיוס ובמיון המועמדים.
הרבה מתהליכי הקבלה בארץ נשענים על מבחני מיון, וחלק משמעותי מתוכם הם מבחני כישורים שכליים או mental ability tests ולרוב משמשים בתהליכי הסינון הראשוניים בשל שילוב של דיוק ועלות. עלתה ההשערה שאלה מהווים חסם משמעותי לקבוצות מיעוט שונות כיוון שאינם מותאמי תרבות.
אבחון מותאם תרבות נולד מהרקע הזה ומהרצון להגביר את הגיוון במקום העבודה וההבנה שהחסמים דורשים התערבות.
רגע פותחת סוגריים של סקרנות, אמרת הרבה מתהליכי המיון בארץ נשענים על מבחני מיון, האם בארצות הברית זה אחרת? בשירות המדינה האמריקאי זה דומה, יש מבחנים, רק הרבה יותר נגישים. אבל מבחני מיון הם יותר נדירים בארצות הברית, הכלי השכיח הוא ראיונות. אך למרות שהם פחות שכיחים, רוב המחקרים בנושא מגיעים מארצות הברית. זה בגלל שהרבה חברות ומכוני המיון שם מנסים לשווק את עצמם תוך כדי הפצת המחקרים שלהם בז'ורנלים מקצועיים ובארץ זה חסר. פה, לצערי, אין פרסום של תוצאות באופן נגיש לציבור, אך הם עדיין בשימוש רב!
איך עברתם מ"התחושות מהשטח" למשהו שאפשר לקבל החלטות לאורו? תכנית אמת נולדה לאור התחושות מהשטח ובשלב ראשון תב"ת ביקשו מאיתנו (מכון ברוקדייל) לבחון האם המבחנים הם חסם מרכזי או שיש הסברים אחרים.
עשינו סקירת ספרות מקיפה שבחנה את המיון לעבודה ושיטות להגביר את הגיוון במקומות העבודה באמצעות תהליכי מיון. מסקירת הספרות למדנו על דילמה רחבה בתחום המיון שהיא דילמת מגוון-תוקף (The diversity-validity dilemma) לפיה ככל שהכלים טובים יותר בניבוי תפקוד בעבודה (או בבחירת המועמדים המתאימים ביותר), יש ירידה בגיוון כי הם יוצרים פערים בציונים לרעת מועמדים מקבוצות מגוונות. כמו בכל דילמה, אין פתרונות חד משמעיים אבל יש כמה שיטות וחלקן די מצליחות. למשל הורדת המשקל של מבחני כישורים שכליים ומדידת מגוון מאפיינים. עוד עלה כי הפתרון של מבחני אינטליגנציה חלופיים לא מסייע והפערים נשמרים.
במקביל לסקירת הספרות רקמנו שיתוף פעולה עם מכון אדם מילא שסיפק נתונים מתהליכי המיון שלהם עבור 180 מועמדים ממוצא אתיופי שעברו יום אבחון במכון. הרכבנו קבוצת השוואה דומה מבחינת תפקיד, מין ומועד המיון ובחנו הבדלים בציוני המיון, מבחני כישורים שכליים, דינמיקה קבוצתית, ראיון וחוות דעת מסכמת. ההבדלים הגדולים ביותר נמצאו, אכן, בכל מבחני הכישורים, פערים מתונים יותר בדינמיקה הקבוצתית ובחוות הדעת המסכמת, בראיון לא נמצאו הבדלים משמעותיים.
אישרתם את התחושות שעלו מהשטח, הבנתם שיש בעיה. מה עשיתם אז? הצגנו את הממצאים בשלושה מעגלים: נציגי הקהילה, מומחים בתחום הפסיכומטריקה ומעסיקים. בשלושת המעגלים חזרה ועלתה השאלה האם הפערים שאנחנו למדים עליהם במיון, משתקפים גם בעבודה. לצידה היתה ההשערה כי בעבודה הפערים קטנים משמעותית.
לאור זאת, החלטנו לערוך מחקר של תוקף בו זמני שיאפשר שני דברים. אחד, לבדוק האם הפערים במיון משקפים פערים בעבודה, ושנית, לבדוק את התוקף וההטיה של כלים חלופיים רגישים תרבותית.
מה זה כלים רגישים תרבותית? כלים שנמצאו לפי הספרות בעלי פוטנציאל לייצר תוקף מצד אחד, ופחות פערים בין קבוצות, מצד שני. למחקר הנוכחי נבחרו לכן ראיון מובנה ושאלון ביוגרפי (ראו תרשים שמבוסס על מטה אנליזה מ-2008 – Ployhart & Holtz, 2008). כלים שנבנו בצוות פיתוח הטרוגני שריכזה טלי סמני, שכלל פסיכומטריקאים ביחד עם חברי הקהילה האתיופית בבקרה של נציגי החברה הערבית והחרדית שנתנו את הערותיהם על כל הכלים.
בטריית כלים שמיועדת לבחון כ-15 כישורים ומאפיינים שנבחרו מראש ככאלה שחשובים למעסיקים. וכן ניסיון לבנות מבחני כישורים שכליים תלויי הקשר, שמועברים בצורה אישית.
בסופו של דבר הבטרייה כללה, לצד המבחנים הקיימים (מבחני כישורים), את הכלים הבאים:
שאלון ביוגרפי (bio-data), שאלון רב ברירה על ההיסטוריה של הפרט ודברים שעשה בהקשרים שונים. בכל תחום 6-15 שאלות, השאלון נבחן ושופר באמצעות ניתוח פריטים.
ראיון חצי מובנה – הועבר על ידי מעריך מקצועי במכון המיון. ראיון שכלל שאלות לפי מאפיינים מוגדרים, מחוון להערכה וטופס הערכה מובנה.
משחק תפקידים – 5 דקות של משחק תפקידים שמכוון למספר מצומצם של מאפיינים והערכה לפי מחוון. אמור היה להיות תחליף למבחן מצב קבוצתי שעשוי להלחיץ יותר עבור קבוצות מיעוט.
שלוש משימות של כישורים שכליים צורני, כמותי ומילולי.מבחני אישיות – שאלון הגריט (שאלון קצר שבודק סיבולת) ושאלון Big5 חדשני בגישה הוליסטית (מוצג תיאור של אדם והמועמד מציין באיזו מידה הוא דומה לו, בכל תיאור האדם בעל רמות שונות בגורמי ה-Big5).
ובכן...איך נראה המחקר? החלק הקשה היה גיוס מעסיקים. חיפשנו מעסיקים שהיו צריכים להיות מוכנים לשלם לעובדים על יום עבודה בו יצאו ליום מבחנים ארוך במכון מיון, שהעובדים יסכימו לכך וכן שיאפשרו שהממונה עליהם ימלא חוות דעת על התפקוד שלהם בעבודה. כמו כן ביקשנו על כל עובד מקבוצת מיעוט, עובד מקביל מהאוכלוסייה הכללית. 30 מעסיקים ויותר הגיעו לימי חשיפה כדי ללמוד על המחקר והתכנית. כמעט כולם הסכימו שיש בעיה וצריכים למצוא לה פתרונות אך להשתתף במחקר רק מעטים ניאותו. בסופו של דבר גייסנו מספר קטן של מעסיקים משלושת המגזרים - ציבורי, עסקי וחברתי.
140 משתתפים לקחו חלק במחקר, יוצאי אתיופי אקדמאים ולא אקדמאים, ערבים אקדמאים ואוכלוסייה כללית אקדמאים ולא אקדמאים. כולם הגיעו ליום מיון מלא כולל הכלים הקיימים והחדשים. מכון המיון עבר הכשרה להעברת הכלים ונאספה על כולם חוות דעת מהממונה, כללית וכן עבור כל אחד מ-15 המאפיינים.
לפני שתשאלי אותי על הממצאים, חשוב לזכור את מגבלות המחקר. בעיקר בהיבט של גודל המדגם (קטן כאשר מחלקים לקבוצות השונות) וייצוגיות גם בהיבט של מעסיקים ותפקידים. ובכל זאת מסתמנים כאן כמה כיוונים שניתן להתחיל וללמוד מהם.
נראה לי שזה זמן מתאים לשאול מה מצאתם? מצאנו כי שלושת הכלים בעלי הפוטנציאל הרב ביותר לניבוי הצלחה בעבודה לצד צמצום בפערים בין הקבוצות היו שאלון ביוגרפי, ראיון אישי מובנה ומשחקי תפקידים. השאלון הביוגרפי נמצא ככלי התקף ביותר והראה פערים מתונים שהיו הרבה יותר קטנים מהפערים שנמצאו במבחני הכישורים השכליים ומעט קטנים יותר מהפערים שנמצאו בתפקוד בעבודה. אחריו הראיון החצי מובנה ומשחקי התפקידים, שניהם הראו תוקף בו זמני דומה למבחני כישורים שכליים עם פערים הרבה יותר קטנים, שגם היו דומים לאלה שנמצאו בתפקוד בעבודה. כל זה בהשוואה בין יוצאי אתיופיה לבין אוכלוסייה כללית. לגבי הערבים, בדרך כלל ההבדלים לא היו מובהקים אבל היתה מגמה שבכלים החדשים הערבים היו דומים או יותר טובים מהאוכלוסייה הכללית, אבל במבחני הכישורים המסורתיים, היה פער מתון לרעת הערבים.
התוקף הבו זמני של המשימות החלופיות לבחינת כישורים שכליים, היה מעט גבוה יותר מבחינת היכולת לנבא תפקוד בעבודה אך אלה לא הצליחו לצמצם את הפערים שנמצאו גם בכלים הקיימים, בהתאם לספרות.
מבחני האישיות במחקר שלנו ובדומה לספרות, לא יצרו הבדלים בין קבוצות אך היכולת שלהם לנבא תפקוד בעבודה היתה מוגבלת.
חשוב לציין כי הכלים זמינים לשימוש וניתן לפנות לתב"ת לקבלת פרטים נוספים.
כיצד תרצה לסכם?
מה שאני לוקח מכל זה שאם באמת יש לארגונים או למדינה רצון להגביר את הגיוון במקום העבודה, דרך אחת להוביל את זה היא לעשות שינויים בתהליכי מיון וניתן לעשות שינויים ואף לשפר את התהליכים מכל הבחינות.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
4. תודה על התגובות נועם פישמן (02/09/2015)
תודה על התגובות המועילות.
אייל: לא מפתיע שקיימת בעיה גם בתחום המיון להשכלה גבוהה. היה מפתיע אם לא. המחקר שלנו מראה שבתחום התעסוקה יש אפשרות, ואפילו צורך של ממש, לפתח כלים טובים יותר. האם זה אפשרי בתחום השכלה גבוהה? לדעתי כדאי לנסות.
סול: זה לא במקרה שלא השתמשתי במילה הוגנות בריאיון. הצגנו אומדנים לגודל הפערים בכלי מיון שונים ולא דנו ב"הוגנות של הכלים". עם זאת, הפערים בין קבוצות מצביעים על בעיות, הן בתהליכי המיון והן בחברה הישראלית, וניתן לעשות יותר כדי להתמודד עימן.
לגבי overprediction, זה בדרך כלל קורה לטובת נבחנים מקבוצת מיעוט. יש חוקרים שטוענים שזה מצביע על כך שהכלים אינם מוטים נגד אנשים מקבוצת המיעוט. אבל, העובדה שיש overprediction בקרב קבוצה מסמנת חולשה ביכולת הניבוי של כלי מיון ותופעת ה-overprediction אינה מאפסת את גודל הפערים שיש בין קבוצות שונות. כלומר, שלפעמים יש קצת overprediction לטובת קבוצת המיעוט אינו ראייה לכך שאין בעיות בכלים הקיימים.
שירן, הצגנו הכלים החדשים למספר ארגונים שהביעו עניין לשפר את תהליכי המיון שלהם. עד כה נעשה שימוש בשאלון הביוגרפי אצל ארגון ששילב את זה כחלק מתהליך המיון שלו. בנוסף, תבת מחפשת ארגונים נוספים כשותפים בתהליך כזה וניתן לפנות אליה לקבל פרטים נוספים.
3. שאלה לנועם שירן דנוך (19/08/2015)
האם בעקבות ממצאי המחקר ישנם ארגונים שאימצו את השימוש בכלים המותאמים? האם קיימים כבר נתונים מהשטח לגבי השימוש בהם? גם בהיבט של חווית מועמד וגם בהיבט של נתוני תוקף נוספים?
2. הוגנות סול פיין (13/08/2015)
נושא זה חשוב ביותר, אך לא תמיד מובן עד הסוף. כפי שהזכרתם בראיון, מבחינה פסיכומטרית, הוגנות היא פונקציה של ההטיה בניבוי המבחן ולא רק של ההבדלים בציוני המבחן. למעשה, כפי שכתב GUION (1966), חוסר הוגנות של מבחן מתקיים כאשר בין מועמדים בעלי סיכויים שווים להצליח בתפקיד, סיכויים לא שווים להתקבל לתפקיד. לאחרונה פורסם מאמר מעניין בנושא: Berry, C. M., & Zhao, P. (2015). Addressing criticisms of existing predictive bias research: Cognitive ability test scores still overpredict African Americans’ job performance. Journal of Applied Psychology, 100(1), 162–179. כמו כן, ב 2012 כתבה שלי בנושא הופיעה בפסיכואקטואליה. להלן לינק למעוניינים
1. על הבדלים בין קבוצות, הטיה, והוגנות אייל גמליאל (06/08/2015)
ברכות לליאת על ראיון מוצלח מאוד - שני ברציפות. המחקר עליו דיווח נעם הוא חשוב מאוד, ומצביע על בעייתיות שקיימת במיון עובדים: ההבדלים בין קבוצות "הרוב" ל"מיעוט" (יוצאי אתיופיה כדוגמה מובהקת) במרבית מבחני המיון הסטנדרטיים גדולים, ולעתים גדולים הרבה יותר, מהפערים המתאימים ביניהם בהצלחה בעבודה. זו בעיה גלובלית ולא רק ישראלית, והיא קיימת לא רק במיון לעבודה, אלא גם במיון להשכלה הגבוהה. פרופ' סורל קאהן ואנוכי כתבתנו על כך מספר מאמרים, אחד מהם בעברית, ב"מגמות". http://www.szold.org.il/?CategoryID=207&ArticleID=381 ההשלכה החשובה ביותר בהקשרים אלה היא שמספר המתקבלים מהקבוצות החלשות/מוחלשות לעבודה (מבוקשת) וללימודים (מבוקשים) הוא קטן יותר ממספר המתקבלים מקרבן לו היה המיון מתבצע על בסיס הקריטריון המריטוקאטי (שכמובן שאינו ידוע בעת המיון...) כפי שציינו במאמר ב"מגמות", וכפי שנטען בראיון עם נעם, אין מנוס מדילמה - מנבאים סטנדרטיים עם תוקף גבוה יחסית וחוסר הוגנות גבוהה יחסית, או מנבאים שמקטינים את חוסר הוגנות, אך הם בעלי תוקף ניבוי נמוך יותר...