העתיד של הפסיכומטריקה כבר כאן – פסיכומטריקה ממוחשבת ובינה מלאכותית
מאת: ד"ר אלון מהרשק, היחידה למבחנים ממוחשבים, המרכז הארצי לבחינות והערכה
פרטי קשר להתייחסות: alonm@nite.org.il

​

​

מהו התיאור המתאים ביותר להשפעה העתידית של הבינה המלאכותית על פסיכומטריקה? 
א. הבינה המלאכותית תחליף באופן מלא את תחום הפסיכומטריקה.
ב. הבינה המלאכותית תעצים ותשפר באופן משמעותי את כלי הפסיכומטריקה.
ג. הבינה המלאכותית לא תשפיע כלל על הפסיכומטריקה.
ד. הבינה המלאכותית תעכב באופן משמעותי את התפתחות הפסיכומטריקה.

 

השילוב בין עולמות הטכנולוגיה לבין עולם הפסיכומטריקה, המבחנים וההערכה קיים כבר עשרות שנים. מבחנים ממוחשבים וכלי מדידה והערכה טכנולוגיים מפותחים ומיושמים בתחומי החינוך, התעסוקה ואפילו בתחומי הביטחון וקשרי לקוחות במסגרת KYC - דע את הלקוח. כמו כן, שיעור השימוש בהם הולך ועולה. אולם, קצב ההתפתחות הטכנולוגי בעולם המבחנים וההערכה איטי לעומת הצפי שניתן בעבר, ואיטי מאוד יחסית לקצב ההתפתחות הטכנולוגית בתחומים אחרים כמו: מסחר, פיננסים, תקשורת וכו'. במבט קדימה ניתן לזהות מספר מגמות רלבנטיות שיציבו אתגרים בפני הפסיכומטריקאים ומפתחי המבחנים וכלי ההערכה בישראל.

 

ראשית, מגמת עלייה בכמות הנבחנים. קיימת מגמת עלייה מתמשכת בכמות מוסדות ההשכלה והסטודנטים הלומדים בהם, והצפי הוא שמגמה זו תמשיך, הן לאור הריבוי הטבעי במדינת ישראל והן לאור הפוטנציאל הקיים של כניסת אוכלוסיות חדשות לשוק ההשכלה והתעסוקה. המשמעות היא בעלייה בצורך בפיתוח פריטים ומבחנים והעברתם לצורכי מיון במוסדות השכלה ובמקצועות שונים.

 

שנית, אופי הנבחנים והמוערכים. המגמה היא של הפיכת "הילידים הדיגיטליים" לרוב בקרב אוכלוסיית הנבחנים. ההתפתחות הטכנולוגית הביאה לקביעת נקודות זמן שונות, שמהן ואילך מוגדרים ילידים דיגיטליים ולפניהם היו "מהגרים" דיגיטליים. בכל מקרה ברור כי הנבחנים כיום ובעתיד הם נבחנים אשר ברובם נולדו לתוך עולם טכנולוגי, ושזו סביבת המחיה הטבעית שלהם. כלומר, הם אינם מסתגלים, מסתייעים או לומדים "טכנולוגיה ומחשבים" אלא חיים אותם. 

 

להתפתחות הטכנולוגית המואצת בתחומי תוכן שונים השפעה נרחבת על דרך החיים של כלל האוכלוסייה ובפרט של הילידים הדיגיטליים, בייחוד בהיבטים של קיצור זמן המענה ופרסונליזציה של המוצרים והשירותים. היבטים אלו מייצרים סטנדרט חדש עבור הלקוח ויכולת להגדלת הרווח עבור הספק. אופי העברת המבחנים כיום אינו תואם את התנהגות הנבחנים בתחומי החיים השונים והפער צפוי להתרחב. אל מול הנבחן היליד הדיגיטלי אשר הסביבה הטכנולוגית היא חלק אינטגרלי מחייו – עומדים כיום מבחנים אשר ברובם מושתתים על תפיסה אנלוגית וליניארית, ארוכים, מחייבים הגעה למקום פיזי מסוים, בעלי סטנדרט קבוע וחווית משתמש נמוכה ומיושנת.

 

שלישית, תחרות וחדשנות – ההתפתחות הטכנולוגית שזורה בהתפתחות כלכלית ומייצרת תחרות תוססת בין חברות חדשות וותיקות בניסיון להמציא ולחדש באופן שיתאים ללקוחות ויקדם את החברה. התחרות אמנם עלולה לייצר "רעש" וחוסר מקצועיות אבל גם כר פורה לרעיונות יצירתיים ופורצי דרך. התחרות והחדשנות מגיעות גם לעולם המבחנים וכבר כיום ניתן לראות ארגונים וחברות העוסקים בכך. יש לשער, בסבירות גבוהה, כי בשנים הקרובות הפיתוח יתעצם, כלי המדידה וההערכה יספקו מענה מהיר, חדשני ומותאם אישית. יתכן כי חלק ניכר מהם לא יהיה ברמה מקצועית מספקת, אבל כמו בתחומים אחרים עלייה בתחרות ובכמות המוצרים והחידושים תביא לתוצרים ברמה טובה שיספקו את השוק.

 

ההתפתחויות שנסקרו מעלות את הצורך בהשקעת משאבים לטובת יצירת תשתיות של פיתוח מבחנים וכלי הערכה בשני היבטים מרכזיים: 

1.  תשתית טכנולוגית – בניית תשתית לניהול הנתונים, המבחנים ותפעולם, לרבות קיום מבחנים במכשירי קצה שונים וכלי אבטחה שונים של המבחן ושל הנבחן. 

2. בניית פריטים, מבחנים וכלי הערכה – הצורך במבחנים רבים ונבחנים רבים מחייבים יצור מאסיבי של פריטים ובפרק זמן קצר. 

 

כעת אתמקד בהיבט של בניית הפריטים.

 

עד לשנים האחרונות הכלי הטכנולוגי המרכזי ששימש לבניית פריטים ומבחנים היה מחולל פריטים אוטומטי (AIG automatic item generation). התהליך התבסס על שני מודלים משלימים: המודל הקוגניטיבי והמודל הפסיכומטרי.

 

קיימות כיום מספר מערכות מחשביות המסייעות בפיתוח פריטים אוטומטי כמו: IGOR ,CAFELAB, ו-Imak ו–MazeGen המותקנות ב-R. המערכות קולטות את המידע הרלבנטי על הפריט מבחינה קוגניטיבית, תוכנית, מבנית ופסיכומטרית ומייצרות בהתאם פריטים.

 

בשנים האחרונות עלו אפשרויות חדשות בתחום ייצור מבחנים ופריטים המבוססות על התפתחויות בתחומי הבינה המלאכותית (AI) ולמידת מכונה (ML). הפסיכומטריקאית Alina Von Davier הציגה את המושג פסיכומטריקה חישובית (computational psychometrics) המתאר מיזוג של תיאוריות וגישות ממדע הנתונים, מדעי המחשב ופסיכומטריקה במטרה לסייע בניתוח נתונים מורכבים. העיקרון הבסיסי הוא יכולת מחשבית ללמוד מתוך נתוני העתק הקיימים והידע האדיר שנצבר על מנת לפתח ולבחון פריטים, מבחנים וכלי מדידה והערכה. השימוש בטכניקות חדשניות מתחומים אלו פותח אפשרויות אדירות ושינויים בקנה מידה שונה ממה שהכרנו. הטכניקות האלו מאפשרות פיתוח פריטים אוטומטי ברמה גבוהה, בקנה מידה גדול, עם פחות מגבלות על סוג הפריטים ואף ללא צורך בפירוט המודל הקוגניטיבי.

 

בשנת 2020 יצאה לאור מערכת GPT- 3 של חברת OPENAI. המערכת היוותה קפיצת מדרגה משמעותית בתחום הבינה המלאכותית. חברת Duolingo לדוגמה ביצעה בעזרת מערכת זו תהליך של ייצור פריטים אוטומטי במשימת קריאה. המודל ייצר טקסטים שונים, שאלות ומסיחים. תהליך הפיתוח כלל בקרה אנושית בנושאי איכות, הטיות והוגנות. בקרות אלו נכנסו למודל וכך המודל משפר את עצמו בעקבות המשוב ופחות פריטים נפסלים.

 

החברה ביצעה מחקר, שבמסגרתו יוצרו אלפי קטעי קריאה ושאלות אשר הוכיחו יכולת מרשימה לייצור אוטומטי איכותי. בעקבות כך החברה מבצעת זאת כיום באופן תפעולי, נוסף על משימות אחרות שפותחו באמצעות בינה מלאכותית (כמו משימה אינטראקטיבית של הערכת תקשורת בינאישית).

 

אחד האתגרים המרכזיים בשימוש במודלים ובכלים של בינה מלאכותית היה הצורך בתיווך ובתרגום בין מומחי התוכן לבין מומחי המודלים של הבינה המלאכותית. בשנים האחרונות עבדתי בחברות סטארט אפ אשר ייצרה פרופיל התנהגותי תוך שילוב של פסיכומטריקה עם כלים של בינה מלאכותית ולמידת מכונה. השיח בחברות אלו בין הפסיכומטריקאים לבין אנשי הבינה המלאכותית היה שוטף אך מאתגר ושני הצדדים ניסו להבין ולתרגם אחד את השני, לא תמיד בהצלחה.

 

ב-30 נובמבר 2022 השיקה חברת OPENAI את הכלי החדש שלה CHATGPT המבוסס על מערכת 5.GPT- 3 ועוררה סערה בעולם. לפתע מילים מורכבות ומסובכות כמו למידת מכונה ובינה מלאכותית הפכו למשהו ממשי, וכל אחד ואחת קיבלו גישה ישירה לכלי ללא תיווך מקצועי. המכונה כמו "מנורת הקסמים" של אלאדין ענתה על משאלות העונים וסיפקה מאמרים, כתבות, מצגות, תקצירים, מבחנים, תשובות, קורות חיים, מכתבי פניה, קודים ועוד בתחומי תוכן שונים ומגוונים.

 

במסגרת "שיחותיי" עם מערכת CHATGPT ביקשתי ממנה לחבר שאלת רב ברירה לגבי השפעת הבינה המלאכותית על הפסיכומטריקה. השאלה מופיעה בתחילת המאמר והתשובה הנכונה בה אגב, לפי המערכת היא ב'. כלומר, הבינה המלאכותית תעצים ותשפר באופן משמעותי את הפסיכומטריקה. בהמשך השיחה המערכת סיפקה לבקשתי שאלות ותגובות נוספות בנושא בהיבטים של השפעת הבינה המלאכותית על מהימנות ותוקף, סוגיות אתיות והפרשנות האנושית לתוצאות המבחן.

 

לשאלתי כמה פריטים או שאלות בנושא של הקשר בין בינה מלאכותית לפסיכומטריקה יכול הכלי לייצר ענה לי CHATGPT שניתן לייצר מספר אינסופי של שאלות לאור מגוון ההיבטים של הנושא. אמנם, אפשר לדון על האיכות הנוכחית של CHATGPT ועל מגבלותיו, אבל יחד עם זאת הוא מדגים את היכולת לספק תוצרים קוהרנטיים באופן המוני על בסיס בינה מלאכותית.

 

בכנות, שעות לפני ההשקה מעט מאוד אנשים האמינו שיכולת כזו אפשרית כבר עכשיו ברמה המעשית ובהיקף כה נרחב. יש לזכור כי CHATGPT אינו רק כלי אלא טכנולוגיה שהשימוש בה יהפוך ליומיומי. האיכות של התוצרים העתידיים על בסיס טכנולוגיה זו תיקבע על בסיס שלושה גורמים: ראשית, איכות הנתונים אשר יוכנסו למכונה, שנית, היכולת החישובית – בהקשר זה ראוי לציין כי תוך כדי כתיבת טקסט זה, במרץ 2023, 4 חודשים בלבד לאחר הפצת 3 GPT הופץ GPT 4 אשר מגדיל באופן משמעותי מאוד את היכולת החישובית הקודמת וניתן להניח כי בזמן הקרוב היכולת הזו תלך ותתעצם. הגורם השלישי הוא היכולת לנהל שיחה ולשאול שאלות רלבנטיות.

 

לסיכום בעולם של התפתחות טכנולוגית מתמדת ושל ריבוי מבחנים ונבחנים עם ערוצי תקשורת כה רבים, העתיד של הפסיכומטריקה בשילוב טכנולוגיה מתקדמת הוא ברור. בכל תחומי החיים הטכנולוגיה כבר אינה כלי עזר אלא חלק אינטגרלי, לשון, "אם אתה לא שם אתה לא קיים". שילוב הטכנולוגיה בפסיכומטריקה כיום איטי יחסית אבל אין סיבה להניח שההתפתחות הטכנולוגית והכלכלית תפסח על עולם המבחנים וההערכה.

 

תהליך ייצור הפריטים האוטומטי שהחל בתהליכי שיבוט המבוססים על תיאוריות חלשות של למידה התנהגותית התפתח ונשען כיום על כלים ושיטות של למידת מכונה ובינה מלאכותית. למרות שקיימות כיום מערכות תיאורטיות ומושגיות, מאגרי ידע ובסיסי נתונים רחבי היקף, מערכות מחשביות תומכות, ובסיסי ידע מבוזר בתחומים הרלבנטיים, עדיין התחום של פסיכומטריקה ממוחשבת מצוי מחוץ לזרם המרכזי של פיתוח פריטים. הסיבות הן בעיקר קושי אנושי וארגוני להתמודד עם שינוי כה משמעותי והצורך בהשקעה ראשונית גדולה יחסית.

 

ההתפתחויות הטכנולוגיות והתרבותיות ותחילת העיסוק בתחומים משיקים על ידי חברות פרטיות, בעולם ובישראל, מהוות אינדיקציה שפריצת הדרך בתחום קרובה מאוד. על כן, על מפתחי המבחנים בישראל לבנות תכנית מחקר ופיתוח מעשית על מנת לעמוד באתגר. לשם כך עלינו לייצר כוח משולב של מומחים בתחומי הפסיכומטריקה, בינה מלאכותית, למידת מכונה וייצור אוטומטי, מדע הלמידה ופסיכולוגיה קוגניטיבית אשר יבנו את העתיד ולמעשה את ההווה של הפסיכומטריקה.

 

מקורות קריאה עיקריים

 

• Attali Y, Runge A, LaFlair GT, Yancey K, Goodwin S, Park Y, von Davier A. The interactive reading task: Transformer-based automatic item generation. Front Artif Intell. 2022 Jul 22; 5:903077. doi: 10.3389/frai.2022.903077. PMID: 35937141; PMCID: PMC9354894. 

• https://chat.openai.com/chat

• Haladyna, T.M, M.J (ed) (2012). Automatic Item Generation: Theory and Practice, Routledge.

• Luecht, R.M (2013). Assessment Engineering Task Model Maps, Task Models and Templates as a New Way to Develop and Implement Test Specification. Journal of Applied Testing Technology, JATT, Volume 14, published by the Association of Test Publishers, April 2013.

• Von Davier, A., Mislevy, R.J., Jiangang, H. (ED) (2021). Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment. Springer.