אורח: ד"ר אבי אללוף מנחה: ד"ר ליאת בסיס
לפני כמה שנים הואיל מודי אפשטיין, צלם ופסיכומטריקאי בחסד, לאפשר לי לבחור מתמונותיו כאלה שניתן למצוא בהן פרשנות פסיכומטרית. תמונות ופרשנויות אלה הוצגו בכנס הפסיכומטריקה ותהליך היצירה הסב לנו עונג רב. לקיחת מושגים מתודולוגיים מופשטים שמצליחים להשתקף מתוך תמונות הטבע, היתה קוסמת. רוב הזמן אנחנו חיים בפיצולים, יש מוחשי ויש מופשט, יש מלאכותי ויש טבעי, יש איכותני ויש כמותי. התערוכה הזו איפשרה לי , לחבר בין עולמות שאני לא נוהגת לחבר ביניהם. לכן לא תתפלאו לשמוע כי כשנתקלתי בשם "תערוכת המבחנים" מיד הסתקרנתי והייתי חייבת לראיין את מוביל הפרויקט, אבי אללוף. הראיון עם אבי הוליד שתי רמות של הבנה – האחת – קונקרטית. מהי תערוכת המבחנים ולאיזה צורך היא נולדה. והשניה – איך מקימים מיזם לטובת הציבור, דרך החתחתים שיש לעבור, הנחישות וההובלה שיש לגלות. הבלוגומטרי הפעם עוסק בתערוכה מסקרנת זו ותהליך יצירתה.
אז מי הוא אבי אללוף?!
1. ביומיום הוא ראש מדור ציונים במרכז הארצי לבחינות והערכה, מדור שמופקד על טיפול בכל הבחינות שמועברות ומופעלות על ידי המרכז הארצי מהרגע שמסתיימת הבחינה ועד שהנבחנים מקבלים את הציונים. במקביל, אבי עוסק גם במחקר (נושאים עיקריים: בקרת איכות על ציונים ועל הערכת בחינות פתוחות ותפקוד דיפרנציאלי של פריטים-DIF) והוא מרצה בקורס תורת המבחנים באקדמית ת"א יפו.
2. בעברו נמנה על המייסדים של אפי [האגודה הישראלית לפסיכומטריקה] לפני 12 שנים. היה העורך הראשון של הידיעון שהבלוגומטרי הוא גלגול שלו, ואף כיהן שנתיים כיו"ר האגודה.
3. בשעות הפנאי... הוא עורך של עיתון International Journal of Testing וחבר במועצה של ITC (International Test Commission) ארגון בינלאומי שמקדם את המבחנים בתחומים החינוכי, התעסוקתי והקליני.
אז אבי, מהי תערוכת המבחנים? זה שם היסטורי של פרויקט שהתחיל לפני מספר שנים, יוזמה ישראלית של המרכז הארצי לבחינות, שהתחילה ב-2009 כרעיון לתערוכה במוזאון המדע ע"ש בלומפילד בירושלים. היו מספר סיבות לכך שהמרכז הארצי יזם את הרעיון, ביניהן:
1. ביקורת הולכת וגדלה בציבור הרחב על הצורך להיבחן בכמות מבחנים רבה לאורך החיים בישראל לצד הרבה מיתוסים שגויים.
2. חוסר הכרה בציבור בעובדה כי מבחנים נשענים על עקרונות מדעיים – מהימנות, תוקף, הוגנות.
3. קושי בציבור להבחין בין מבחן טוב למבחן רע (הציבור יודע להבחין בין עגבנייה טובה ופחות טובה בשוק אך במבחנים מתקשה להבחין בכך).
4. אי הכרות בפוטנציאל של המבחנים כגורם מדרבן ומקדם למידה וכגורם מייעל של תהליכי מיון איכותיים.
יש רעיון טוב, מאיפה מתחילים?
הצעד הראשון, והקל יחסית, היה לקבל תמיכה מיואב כהן, מנכ"ל מאל"ו. לאחר מכן נפגשנו עם אנשי המוזאון, שבאורח מקרי (או לא ?) ממוקם ממש בקרבת המרכז הארצי לבחינות, וניסינו לשכנע את מיה הלוי, מנהלת המוזאון, שהרעיון חשוב והנושא מעניין . בתחילה נרתעו: "את מי יעניין לראות מבחנים?!", מכיוון שמוזאון צריך להציג תערוכות שמעניינות את הציבור. המשימה הראשונה הייתה לשכנע את אנשי המוזאון שהרעיון ישים ושתערוכה כזו תמשוך קהל. נפגשנו איתם והראנו להם מצגת, בנושא שהם עצמם לא היו חשופים אליו עד כה, והצלחנו לשכנע אותם שיש לנו כאן נושא שהציבור, שעובר מבחנים ומושפע מהם במהלך כל חייו, ירצה ללמוד עליו ויבוא לתערוכה.
בשלב ראשון גויס צוות של ארבעה אנשים מהמרכז הארצי לבחינות, המוזאון הביא מצדו שני אנשים. נפגשנו כל שבועיים והתחלנו לפתח את הרעיונות. זה היה מפגש בין דיסציפלינה שיודעת לפתח מבחנים לכזו שיודעת לפתח תערוכות בתחום המדע ולהנגיש רעיונות ומודלים מדעיים לקהל הרחב בכלל ולילדים בפרט.
נשמע שיח מעשיר, אתה יכול להגדיר מה כל צד הרוויח מהחשיבה המשותפת?
הצוות מטעם המוזאון הרוויחו בעיקר ידע, אותו ידע שחשבנו להנחיל לציבור, הם יודעים עכשיו הרבה על מבחנים.
אנחנו למדנו בעיקר שאם אנחנו רוצים שהציבור יתחבר לזה ואולי גם ילמד מזה משהו על התחום שלנו, על עצמו ועל החברה בכללותה, לא נכון לעשות את זה בצורה פטרונית. לא לבוא בגישה של מי שמגיע לילידים באזור נידח בעולם ומנסה ללמד אבולוציה. רצוי לנסות להעמיק באיך אנשים בציבור תופסים מבחנים, ומה הם חושבים וטוענים כנגד מבחנים. לבוא ממקום של סימטריה. זה לקח זמן, זה לא היה קל.
והציבור באמת הפך לחלק בתהליך הפיתוח?
אכן כן. בהתחלה חיברנו שאלון ושלחנו להרבה אנשים לראות מה מעניין את הציבור – מה היה רוצה לראות בתערוכה, מה הוא חושב על מבחנים. בשלב השני ערכנו קבוצות מיקוד של נוער ומורים – ושאלנו אותם מה הם ירצו לראות, מה הם חושבים על מבחנים.
אילו עוד שותפויות יצרתם בתהליך? תוך כדי העבודה הבנו שזה פוטנציאל לנושא בינלאומי. הרבה אנשים שסיפרנו להם התלהבו ואמרו שזה רעיון מאוד מעניין. הגוף שהכי התעניין בזה היה ETS – ה-Educational Testing Society (http://www.ets.org/) , ה-ETS הוא הגוף המקביל למרכז הארצי לבחינות בארצות הברית, והוא אולי הגוף המוביל בעולם בתחום פיתוח מבחנים. הצענו להם להשתתף בפרויקט והם שמחו להצטרף. בסמיכות גיאוגרפית ל ETS נמצא מוזאון ה- Franklin Institute, בעיר פילדלפיה. יצאנו עם שותפות של ארבעה גופים, שני גופי מבחנים, ושני מוזאונים. מוזאון המדע הצליח לגייס סכום כסף מקרן פרטית ישראלית, שאיפשר לנו ב-2009 לקיים סדנא בת 3 ימים, במוזאון בירושלים, עם נציגי השותפים ומעצב גרפי שעיצב כמה דוגמאות של מוצגים.
עלו כל מני רעיונות, כמו איך להמחיש לציבור הערכה של שאלות פתוחות או מבחני ביצוע שזה משהו יותר סובייקטיבי. חשבנו לתת למבקרים במוזאון לצפות בקטע קצר מתוך תחרות התעמלות קרקע בתרגיל קורה. המבקרים יתבקשו לתת ציון לאותה מתעמלת ולאחר מכן יעברו סדנא מקוצרת שתסביר על עקרונות השיפוט כדי להפוך אותם ליותר מקצועיים, אז יתבקשו להעריך שוב, כולל הצגת מידת הדמיון בין המעריכים לפני ואחרי שקיבלו הדרכה.
המטרה של הסדנא הייתה לבדוק את השותפות ולהגדיר את המטרות, להתקדם למוצגים ולחשוב איך משיגים מימון. הדבר דומה להפקה של סרט, ללא מימון לא ניתן לייצר תערוכה, המוזאונים מארחים תערוכות אך לא ממנים אותן. עוד על הסדנא באתר https://www.mada.org.il/en/exhibitions/testing.
איך איתרתם מקורות מימון?
פנינו לקרן האמריקאית NSF (National Science Foundation) שעוסקת בעיקר במימון של פרויקטים מדעיים אך יש לה כספים שמוקצים ללמידה לא פורמאלית, כולל גם מוזיאונים. ניסחנו בקשה לקרן עם הצעת תקציב מפורטת. חיכינו בסבלנות מספר חודשים עד שקיבלנו תשובה. בשלב הזה זוכים כמה עשרות מכמה מאות. אולם ההמשך היה פחות משמח. אמנם עברנו את השלב ראשון אך לא הצלחנו לעבור את השלב השני. קיבלנו הערות מאוד מפורטות. ההערה המשמעותית ביותר שקיבלנו הייתה שאנחנו צריכים יותר להתמקד בקשר בין המבחנים לחברה. אנחנו התמקדנו בעקרונות המדעיים והם לא הסתפקו בכך. הם שלחו אותנו לשנות את ההצעה לכיוון הזה. זה כמובן היה מאוד מאכזב.
כעבור זמן מה החלטנו להגיש שוב. עוד הערה חשובה שקיבלנו היא שעדיף שבראש ההצעה לא יעמוד ארגון של מבחנים, כדי שזה לא יהיה פטרוני או ייחשד להיות "מטעם". כדי שההצעה תיראה יותר מאוזנת ונטולת פניות, עדיף היה שהיא תוגש מטעם מוזאון או פרופסור מאוניברסיטה. שינינו אפוא את ההובלה (בפעם השנייה הוביל את ההגשה פרופ' הנרי בראון מבוסטון קולג') ואת הדגשים. עשינו כל מה שחשבנו שיכול להועיל כדי לשפר את הסיכוי שלנו לזכות. שוב ניגשנו, אך שוב קיבלנו תשובה שלילית. באותה שנה הם הלכו יותר למדע טהור ופחות למדעי החברה. בקשת המימון הייתה לשלושה מיליון דולר, הלכנו על תערוכה מאוד מושקעת, נודדת, שתהיה חצי שנה בכל מוזאון כולל טכנולוגיה, משהו גדול. החזון לא הצליח. לא הצלחנו לגייס את הכסף.
במקביל דיברנו עם קרנות אחרות, זה נושא שלא טריוויאלי להשיג אליו כסף. אנשים לא רואים את הקשר הישיר בין מדידה ומבחנים לבין בריאות או חינוך, נושאים שתורמים פילנטרופיים או קרנות ששים לתת להם כסף.
מקם אותנו על ציר הזמן, בבקשה. השנה היא 2013. אנחנו לא יודעים מה לעשות: האם להגיד מיצינו והולכים הביתה או ממשיכים. ישבנו עם השותפים, נפגשנו עמם שוב במהלך כנס בארה"ב, חשבנו מה לעשות והחלטנו שרוצים להמשיך, לא לוותר, להוסיף עוד שותפים, המטרה היא חשובה. מישהו העלה רעיון שבמקום לעשות תערוכה במוזאון לעשות תערוכה וירטואלית, ברשת. תערוכה שעדיין תכונה תערוכה מבחנים. לרשת יש הרבה יתרונות, היא נגישה מכל מקום בעולם, היא בינלאומית, אפשר לעדכן את התערוכה לפי הצורך, אפשר לאסוף נתונים על אנשים שנכנסים וכמובן שהמחיר יכול להיות זול יותר. זה הכיוון שהחלטנו לקחת. הסוגיות שעמן התמודדנו נותרו בעינן – איך הופכים מושגים מדעיים לנגישים לקהל הרחב? איך מושכים את הציבור לתערוכה? וכמובן שנותרה גם שאלת המימון.
איפה אנחנו היום?
לפני כשישה חודשים, ה ETS החליט לקיים ולממן סדנא בנושא, בדומה לסדנא שעשינו שש שנים קודם לכן, אך הפעם בארה"ב. ארגון הסדנא הופקד בידי. הוזמנו אנשים מחברות המבחנים הגדולות, מפתחי משחקים, אנשים מהאקדמיה, נציגי מוזיאונים, גיבשנו רשימה מכובדת של אנשים. הגיעו כעשרים איש, רובם אמריקאים. נסעתי עם השותפה-עמיתה שלי לעניין התערוכה ממוזאון המדע , דיאנה אלדרוקי-פינוס, ישבנו יומיים ב-ETS ובחנו – האם זה ישים, מי השותפים, איך מתקדמים, איך משיגים מימון. אותן שאלות ישנות עלו שוב מתוך כוונה ליישם את הפרויקט ברשת כשהפעם ה-ETS לוקח חלק יותר פעיל.
סדנא זה דבר מאוד נחמד, אוכלים ביחד, מדברים, מעלים רעיונות, כל אחד תרם בסדנא משהו, הכין מצגת או דיון. בסוף ישבנו ונתחנו את כל הרעיונות. כעת אנחנו בונים מתווה לקידום התערוכה ברשת. הוקמה ועדת היגוי לפרויקט. הועדה אמורה לדון בתכנית שמתגבשת בהובלתי ובעזרת אנשים יצירתיים ממאל"ו. אני אופטימי לגבי העתיד של התערוכה.
שיהיה בהצלחה! רק עוד כמה שאלות :)...
לאיזה גיל אתם מייעדים את התערוכה? או במילים אחרות, מיהו קהל היעד של התערוכה הוירטואלית?
כשעוד חשבנו על תערוכה במוזאון, בגלל הקהל שמגיע, הלכנו יותר לכיוון הילדים הקטנים. כשאנחנו ברשת, כל הקהלים תיאורטית יכולים לבוא, אך כל נושא יכול להביא קהל קצת שונה. מי שמתעניין במיצ"ב לא בהכרח יתעניין במבחני קבלה לאוניברסיטה ולהפך. בסקר נוסף שערכנו גילינו כי האנשים שעשויים להתעניין בתערוכה הם לרוב אנשים שעומדים לפני מבחן חשוב בחייהם, שהם או ילדיהם עוברים מבחנים ומייחסים להם חשיבות.
אחת המסקנות שלנו מהסקר היא שהתערוכה צריכה להיות מושכת עבור הציבור בכללותו ובפרט את האנשים האלו. מסקנה נוספת היא כי יש לחזק את הקשר בין המבחנים לחברה. לדוגמא, יש להדגיש את הקשר בין מבחנים לקבלה להשכלה גבוהה, לעבודה, נושא ההכנה למבחנים, מבחנים רחבי היקף (ארציים), הוגנות במבחנים העדפה מתקנת ועוד.
מה שמאפשרת הפלטפורמה הוירטואלית היא לקיים דיאלוג. למשל בנושא ההעדפה המתקנת – יש הרבה טעונים בעד ונגד. זה נושא שחשוב מאוד לדבר עליו. אנחנו בונים מספר רעיונות למוצגים שיעוררו את הדיאלוג הזה ופלטפורמה שתאפשר את הדיאלוג בעקבות כך.
התערוכה לא מכוונת ל"עוברי אורח מקריים" אלא למי שעומד בפני מבחן או מי שיש מישהו הקרוב אליו שעומד לעבור מבחן חשוב. המבקר רוצה לדעת מה המבחן אומר? או מה אפשר ללמוד ממנו? האם מי שיעבור את המבחן יהיה רופא טוב יותר (אם מדובר במיונים לרפואה למשל)?, וכן, למה יש מערכות מבחנים שונות? מה ההבדל ביניהן? אילו הבדלים נמצאים בין קבוצות שונות. יש אין סוף שאלות, שמהן צריך לבחור את אלה המעניינות את הציבור.
לאחרונה עסקנו בפיתוח המעטפת – הכוונה לאתר הבית שתפקידו למשוך את המבקרים, להיות מעין סוכרייה עם עטיפה צבעונית שתמשוך את המבקר פנימה לדפים הבאים. בדף הבית צריך לשים דברים שהמבקרים מאוד רוצים, טיפים להצלחה במבחן למשל, ואז לקרב אותן לשאלות שפחות חשובות מבחינתם.
אנחנו מאמינים שאם נשתף את הציבור באתר הזה, הציבור ישתתף והשאלות שלו ישפיעו על התכנים זה ימשוך אותו..
אתה מדבר עם הרבה תשוקה, מה השליחות שברקע?
יש פה מטרה חיובית לחברה, רצון לקעקע את התפיסה שעורכי המבחנים יושבים במגדל שן. הפיכת הציבור לצרכן מושכל של מבחנים תסייע ותקדם את תחום ההערכה והמדידה. בארה"ב יש שימוש רב במבחנים הסטנדרטיים רחבי ההיקף בתחום החינוך – מבחני הישיגים לימודיים. המבחנים האלו מתקיימים, בכל רמה , החל מרמת בית הספר, העיר, המחוז, המדינה וכמובן ברמה הפדרלית. לחלק מן המבחנים דוגמת ה-NAEP חשיבות רבה בתרבות החינוכית האמריקאית. לצד השימוש הרב במבחנים הולכת וגוברת תופעת ההימנעות. אנשים לא רוצים יותר שילדיהם יבחנו במבחנים האלו בגלל ההשלכות השליליות שעלולות להיות להם. בשנים האחרונות הולכת וגוברת התופעה שמכונה opt out (להיות בצד, לא לקחת חלק) - הורים רבים אומרים לילדים ביום המבחן - אל תלך להבחן, אתה נשאר בבית (בדומה להחלטה שלא ללכת להתחסן). זה פוגע בתוקף של המבחנים ומקשה על הרשויות להסיק מסקנות מתוצאות המבחנים. אני מעריך שהתופעה תגיע מתישהו גם לישראל. לאנשים אין כתובת או אתר ניטראלי ששם הם יכולים ללמוד על מבחנים. יש בארה"ב ארגון חזק בשם 'FairTest' שמרכז מידע ופועל נגד המבחנים ומנגד אין מי שיגן על המבחנים. מי שמגן על המבחנים נתפס כבעל אינטרס (מישהו שמוכר מבחנים או שייך לממסד שעושה בהם שימוש).
לסיכום איזו פנייה היית רוצה להפנות לפסיכומטריקאים בישראל? הייתי שמח לקבל תגובות מחברי אפי על הרעיון של תערוכה וירטואלית, ובעתיד, אם הרעיון יתממש, לשתף את קהילת הפסיכומטריקאים בכתיבה של חומרים לתערוכה. הרעיון הוא שלא יהיה רק צוות מצומצם של אנשים אלא לשתף ציבור רחב. כשזה יהיה רלבנטי, נזמין את חברי אפי!
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
תגובות
1. כיכר העיר של המבחנים ד"ר טלי פרוינד (21/01/2016)
הרעיון לקיים את התערוכה ברשת מבורך בעיני, והטכנולוגיה של היום מאפשרת לתערוכה הזאת להגיע למגוון קהלים, "לתפור" לכל קהל את התכנים המתאימים לצרכיו ולרצונותיו, לגילו, ובשפה שהוא דובר. היא גם מאפשרת אקטיבציה של הגולשים, שיתופיות ו-networking במתודולוגיות המנביטות חיים תוססים סביב נושאים שעד היום נחשבו בציבורים רבים משעממים וחסרי נשמה (כן, כך לצערי נתפסים תוצרי העבודה של רבים מאיתנו, מפתחי המבחנים). ואולי, הודות לתערוכה אינטראקטיבית זאת, "כיכר העיר" הריקה תתמלא בסקרנים, מפתחי מבחנים, צרכני מבחנים, אוהדי ומתנגדי מבחנים, שיתנסו, ידברו, יתווכחו, ויהגו רעיונות יצירתיים לדור הבא של המבחנים. ד"ר טלי פרוינד - סמנכ"לית וראש מינהלת מדידה והערכה במרכז לטכנולוגיה חינוכית (מטח)