אורחת: ד"ר טלי פרוינד מנחה: ד"ר ליאת בסיס
האם ואיך מדידה והערכה יכולים להועיל לצוותי פיתוח תוכן לצורכי הוראה ולמידה?
איש חכם אמר פעם שסטטיסטיקה אינה יכולה להעיד על תוכן. אולי להעיד אינה יכולה אבל לעזור לו להתעצב בצורה אפקטיבית כנראה שכן.
הושבנו את ד"ר טלי פרוינד, סמנכ"לית וראש מנהלת מדידה והערכה במרכז לטכנולוגיה חינוכית (מט"ח) לשיחה צפופה בנושא כדי להכיר שימוש נוסף של נתונים בעולמנו המאתגר.
אנשי ההערכה יכולים להשפיע על התוכן באמצעות עיסוקם הישיר בפיתוח של כלי הערכה או באמצעות עיסוקם במחקרי הערכה. אופני השפעה אלה שזורים בבלוגומטרי זה – הקוראים מוזמנים לשים לב למעברים בין האחד לשני.
שלושה דברים על טלי:
1. בעלת תואר שלישי בפסיכולוגיה חברתית מאוניברסיטת תל אביב.
2. ממקימי כפר הנוער "קדמה" לנערים ונערות בסיכון, שימשה חוקרת בכירה באגף הערכה ומדידה במשרד החינוך, הייתה חברת סגל בבי"ס מנדל למנהיגות חינוכית, הקימה וניהלה את יחידת התכנון, הבקרה וההערכה במינהל החינוך התרבות והספורט בעיריית תל אביב-יפו, בשנת 2004 הצטרפה למטח והקימה את מינהלת מדידה והערכה.
3. מבחינתה, פתיחות, גמישות וחמלה הם חלק ממקצוענות בתחום ההערכה – ואצלה הם התפתחו הודות למעברים בין ארגונים, עולמות תוכן, מגזרי אוכלוסייה ונקודות המבט השונות שזימנו מגוון תפקידיה.
אז טלי תגידי, מה זה פיתוח תוכן?
להסביר על פיתוח תוכן זה כמעט כמו להסביר מה עושה מטח. מראשית דרכו (1970) מטח הוקם כדי לענות על צורך של מערכת החינוך – לעבות ולטייב את מדף ספרי הלימוד. התוכן לא נעצר בספרים, והיום הוא מתייחס גם למאגרי פעילויות אינטראקטיביים, קורסים וירטואליים, מסגרות מקוונות לפיתוח סגלי הוראה, וגם כלי מדידה והערכה, לרבות כלים מתוקשבים.
במטח של היום, בכל סוגי התכנים משולבות טכנולוגיות שמקדמות עדכניות, אותנטיות, רלוונטיות, עניין, הנגשה, ידידותיות, יעילות וחסכון.
מינהלת מדידה והערכה מעניקה שירותים הן ללקוחות חיצוניים והן ללקוחות פנימיים, אך כאן אדגים את החיבור של הערכה ותוכן באמצעות השירותים הפנימיים, שמעניקה המינהלת למפתחי תוכן במטח.
נשמע שאת עומדת לא רק להדגים אלא שחשוב לך להדגיש שאת עצמך כאשת הערכה שינית פרדיגמה...
בתפקידים שמילאתי בעבר בתחום המדידה וההערכה, הייתה לי אוריינטציה של חוקרת אקדמית שממוקדת בפיתוח כלי מדידה והערכה מצוינים, ניתוח נתונים מדויק ודיווח בסטנדרטים מדעיים. באותן תקופות זה היה בסדר גמור, ואז לא זיהיתי שום חוסר. בעבודתי במטח הבנתי בדיעבד שפספסתי, שבעצם לא ממש ידעתי מה עושים עם מה שחקרתי ומצאתי, שלא באמת הבנתי את החיבור לשדה ושלא היה לי מושג מה יכולתי לעשות אחרת כדי לתרום ולהשפיע.
התובנה הכי עמוקה שלי, מרגע שהצטרפתי למטח וקיבלתי על עצמי להוביל את תחום המדידה וההערכה, שבגוף העוסק בפיתוח תוכן – מומחיות במדידה והערכה אינה יכולה לעמוד בפני עצמה, הערך והתרומה שלה אחוזים בידע הדיסציפלינארי שלעולם יהיה מופקד בידיים של מומחי התוכן, ושלמעשה ללא חיבור מאוד אמיץ אליהם, ברמת היום-יום, אין סיכוי שאנחנו, אנשי המדידה וההערכה, נוכל להביא תועלת לפיתוח התוכן בתוך הבית. שינוי התפיסה התרחש אצלי כשהבנתי שרק דיאלוג אמיתי, אינטנסיבי ואינטימי בין אנשי המדידה וההערכה לבין מומחי התוכן מייצר ערך אמיתי למדידה ולהערכה. ובאמת, אנשי המדידה וההערכה שלובים במומחי התוכן במטח, ופתאום 1+1 זה יותר מ=2.
אולי כדאי שהקוראים יכירו קצת את מבנה מטח והחלק של מינהלת מדידה והערכה בתוכו?
בעבר, אנשי המדידה וההערכה היו כפופים ליחידות תוכן שונות במטח שלהן הם נתנו שירות. כשהצטרפתי למטח, חשבתי שהיכולת צריכה להיות כפופה למנכ"לית הארגון, כיכולת ליבה רביעית על השלוש – פיתוח תוכן, פיתוח סגלי הוראה ושילוב טכנולוגיה בפדגוגיה. יכולת עצמאית המשוחררת מכפיפות לבעלי העניין בתחומי התוכן ושמונה כיום 100 עובדים קבועים מתוך 500 עובדי מטח ועוד מאות פרילנסרים. מינהלת מדידה והערכה נותנת שירותים בתוך ומחוץ לארגון ומתמקדת בשני שירותים עיקריים:
1. פיתוח כלים למדידת הישגים ויכולות – מבחנים למשרד החינוך: מבחני בגרות, לרבות מתוקשבים, מבחני ראמ"ה (מיצ"ב, מבדקי הערכה מעצבת, תרגום והתאמה תרבותית של מבחנים בינלאומיים, תרגום והתאמה תרבותית של מבחן אינטליגנציה, הערכת תפקוד של תלמידי החינוך המיוחד), מבחנים בשפות למועמדי הוראה במגזר דוברי ערבית, ומבחנים למשרד הכלכלה (לנוער ולמבוגרים).
2. הערכת תכניות בתחום החברתי-חינוכי – שירותי הערכה לקרנות, גופי חינוך, משרדי ממשלה, רשויות מקומיות וארגוני מגזר שלישי. הדגש הוא במחקרים רחבי היקף, רב שנתיים שמאפשרים למצות תהליכי הערכה משמעותיים עם איסוף נתונים ממגוון מקורות מידע ולאורך זמן שמזמנים שותפות בתהליכי תכנון אסטרטגי.
איך נראית האינטראקציה בין מדידה והערכה לתוכן?
אני אדגים זאת באמצעות שתי דוגמאות.
הדוגמא הראשונה היא שותפות בפיתוח סביבה אדפטיבית ללמידה והוראה, פרויקט של שנים שהחל לאחרונה.
על בסיס האמונה החינוכית שליוותה את מטח מיום הקמתו, שמצדדת בלמידה המותאמת לצורכי היחיד (ובשפה עכשווית – למידה אדפטיבית), מטח פיתח בשנותיו הראשונות את סביבת תוא"ם (תרגול ואבחון באמצעות מחשב) שנשענה על ההבנה שכל ילד לומד בקצב שונה, ויש להתאים את היקף התרגול לקצב שלו, עד שישיג את רמת השליטה הנדרשת. הפילוסופיה הביהביוריסטית עומדת גם בבסיס ספר הלימוד המסורתי, עם המבנה הליניארי, המניח שהתלמיד עובר נושא רק אחרי שרכש ידע או מיומנות קודמים. הגישות העכשוויות גמישות ופתוחות יותר לאפשרות שיש ילדים שיכולים ללמוד על-פי סדר נושאים אחר, ללמוד כמה נושאים בו זמנית, או אולי לדלג על נושאים שבהם הם שולטים. באמצעות טכניקות חדשניות של ביג דטה, אפשר לאפיין מספר רב ואולי אין סופי של רצפי למידה ומתוכם לבחור את רצף הלמידה האופטימלי ואת חומרי הלימוד המתאימים עבור כל תלמיד על סמך פרופיל תִפקוד מדויק שאמור להיבנות הודות לכלי אבחון מתוחכמים. כלי אבחון אלה אמורים לנטר באופן אוטומטי את ביצועי התלמיד, ולא רק את הפשוטים (ענה נכון או לא נכון), אלא גם את המורכבים יותר. למשל, כאלה שיכולים להעיד על תפיסות שגויות (miss conceptions), הבנת תהליכים, ואף אוריינות שפה ועומק הבנה לשונית. את כל זה נועדה לבצע הסביבה החדשה שנמצאת בפיתוח.
מה תפקידם של אנשי המדידה וההערכה בפיתוח מערכת כזו?
אנשי המדידה מסייעים באפיון המערכת הטכנולוגית – הם תוחמים ומגדירים איזה נתונים ייאספו ולאיזו מטרה, ועוזרים להנגיש את הנתונים הנאספים למורים ולצוותי פיתוח התוכן. למורים – באמצעות כלי דיווח על מצבו של כל תלמיד, כבסיס להתאמת רצף הלמידה המתאים לו. לצוותי פיתוח התוכן – באמצעות הנגשת נתונים המספקים אינדיקציה לגבי פריטי תוכן שמתבררים כלא מוצלחים מבחינה פסיכומטרית (למשל, כאלה שלא מבחינים בין תלמידים ברמות שונות), או לגבי "חורים" בכיסוי הולם של נושא המצריכים פיתוח נוסף. נתונים אלה משרתים את צוותי התוכן שמכוונים לשיפור המערכת ותכולתה.
מעבר לשיפורים האלה, המתבצעים באופן שוטף, אנשי ההערכה אמונים גם על בחינת האפקטיביות של הסביבה: האם היא מביאה תועלת? תוצאות הערכה זו ישפיעו על ההחלטה של מנהלים ומורים האם לרכוש את הסביבה עבור בתי-הספר שלהם. הן יתרמו גם לעיצוב הכשרת המורים לשילוב הסביבה בשגרת ההוראה והלמידה ולהגדיר מחדש את תפקידו של המורה בעולם המשתנה שבו הטכנולוגיה חוסכת ממנו פעולות שבעבר גזלו ממנו זמן רב, כמו בדיקת שיעורי-בית ומבחנים, ומאפשרת לו להתמקד בעשייה שרק מורה/מנחה אנושי יכול לעשותה – עריכת דיונים, הנחיית תהליכי חקר, עיסוק בהיבטים חברתיים.
אנשי המדידה וההערכה מלווים את המערכת משלב האפיון ועד ההטמעה הרחבה. אנשי התוכן לא יכולים להתקדם ללא תרומתם של אנשי המדידה וההערכה, ולהפך – אינטראקציה הדוקה ביותר.
הפיתוח של הסביבה החדשנית הזו נעשה בהשתתפות מימונית של קרן יד הנדיב.
נשמע מדהים!! אני כבר סקרנית לשמוע על הדוגמא השנייה.
הדוגמא השנייה היא התיכון הווירטואלי. בתיכון זה מלמדים באופן שכולו מקוון מקצועות מדעיים מוגברים ברמה של חמש יחידות לימוד לבגרות – מתמטיקה ופיזיקה. הוא מיועד לתלמידים שלומדים בבתי-ספר בהם אין די תלמידים לצורך פתיחת כיתה מוגברת או שלא נמצא באזורם מורה מתאים. המאפיינים הייחודיים של מסגרת למידה זו מפגישים באותה כיתה וירטואלית תלמידים יהודים, ערבים, חרדים וחילונים – שילובים שלא מתאפשרים בחיי היומיום. התיכון הוקם בשותפות של מטח, קרן טראמפ ומשרד החינוך.
איך זה עובד? בשעה מסוימת, כל תלמיד הולך לחדר המחשבים בתיכון שלו, שם אזניות ומצטרף לשיעור סינכרוני עם מורה למתמטיקה או פיזיקה מהשורה הראשונה בישראל. תוך כדי הוא שומע את המורה או את חבריו לכיתה, הוא רואה מצגות מונחות, סרטונים, סימולציות ומעבדות אינטראקטיביות, הוא מצביע ושואל או עונה, הוא כותב על הלוח המשותף ונשלח להכין שיעורי-בית – כיתה לכל דבר, אלא שכולה מקוונת. כל השיעורים מוקלטים, והתלמידים יכולים לחזור להקלטות אם נעדרו מהשיעור או לא הבינו חלק ממנו. לכל 3-2 תלמידים יש חונך בשעות אחה"צ, סטודנט למקצועות הריאליים שעובר הכשרה מיוחדת לתמיכה ברשת. החונכים מסייעים לתלמידים להתמודד עם קשיים ומעמיקים היכן שצריך.
מהפכה! ואיפה תפקידה של המדידה?
המערכת מנטרת את התנהגויות הלמידה, החל מנוכחות בשיעורים ובתרגולים, הגשת שיעורי-בית, ביצוע בחינות, משך השהייה, מרווחים בין הכניסות, שימוש במשאבי למידה מתוקשבים. נתונים אלה מצטרפים לנתונים נוספים שנאספים לצורך הערכה ייעודית של אפקטיביות התכנית החדשנית הזאת: נתונים על הישגי הלומדים במהלך לימודיהם ובסיום כיתה י"ב (ציוני הבגרות) והשוואתם לנתונים הארציים, וכן נתונים על מוטיבציה ללמידה, תחושת מסוגלות, עמדות כלפי החונך והמורה – הנאספים באמצעות סקרים מקוונים. כל המדדים מרוכזים לכמה מדדי על, מוצגים למובילי התיכון ומשמשים לשיפור התוכן הלימודי והכלים הטכנולוגיים.
בתיכון הווירטואלי לומדים כיום למעלה מ-1,000 תלמידים והוא פועל כבר חמש שנים.
ספרי קצת על אתגרים ודילמות בעבודה המשותפת של אנשי התוכן ואנשי המדידה וההערכה?
הליווי של אנשי המדידה וההערכה מציף כמה אתגרים, לא כולם מפוצחים. יש הרבה דילמות.
אתגר אחד הוא הכובע הכפול של ההערכה – מצד אחד הרצון לסייע למובילי התכניות לבחון את כדאיות ההשקעה בתכנית מסוימת על פני יוזמות אחרות. למשל, האם התיכון הווירטואלי תורם להגדלת שיעור המגיעים ללימודים מוגברים ומצליחים בהם יותר מתכניות אחרות? לצד זה תפקיד אנשי ההערכה לתת למובילי התכניות ליווי צמוד כדי לשפר את מודל הפעולה. למשל, איזה ממשאבי ההוראה בתיכון הווירטואלי הכי מנוצל? איזה הכי תורם? לפעמים הכובע הכפול הזה מזמן סתירות פנימיות שיש ליישב ביניהן.
אתגר נוסף במינוף העובדה שצוות ההערכה וצוות המיזם חיים יחד תחת קורת גג אחת – האם נוצרות הזדמנויות חדשות שהן שונות מהקשר המסורתי שבין איש פיתוח ואיש מדידה. למשל האירוע של "מסירת תוצרים", בעבר כשעבדתי במשרד החינוך או בעיריית תל אביב-יפו, היה אקט ברור ומובחן של מסירת התוצר, לרוב אירוע חגיגי שהוזמנו אליו הרבה אנשים, מסקרן, מפחיד קצת. מומחי המדידה היו מגיעים ומציגים את הממצאים, עונים על שאלות והולכים. בתהליך פנימי מתמשך, אין מסירת תוצרים אחת, זה קורה כל הזמן בתהליך דינמי שנבנה יחד, שמאופיין באינטימיות רבה. כך, לפעמים לאיש התוכן יש הערות מתודולוגיות ופסיכומטריות טובות, ולפעמים לאיש המדידה, גם אם אינו מגיע מתחום המדעים, יש הערות תוכן מצוינות. אין פה אקט מסירה, ודאי לא אחד. חלק מהדינמיקה קורית במסדרונות, בפינות הקפה, בתכתובות במייל. ערעור הסמכות המקצועית? טשטוש הגבולות? אפשר להסתכל על הדברים בצורה ביקורתית, אך אפשר גם לראות את ההזדמנות לטייב את ההערכה ואת תוצריה.
אתגר נוסף הוא בהתמקמות צוות ההערכה כך שהוא ייתפס כגורם מסייע ולא מחבל ביכולת של המיזם להתפתח ולהצליח. בהקשר זה עולות שאלות כמו: עם איזה נתונים יוצאים החוצה? רק עם הצלחות (חצי הכוס המלאה)? או גם עם קשיים שהצפתם עלולה לאיים על המשך קיומו של המיזם? הדילמה הזאת מתקשרת עם הרצון לשמור על התוקף הנראה של מחקר ההערכה למול גורמים חיצוניים שלא פעם מתריסים: איך ייתכן שאתם מודדים את עצמכם? האם אפשר לסמוך על הממצאים שאתם מציגים ולהיות בטוחים שאינם מוטים? לא עדיף לקחת גוף הערכה חיצוני שאינו בעל עניין בהצלחת המיזם? על החבל הדק שמקשר בין הרצון לתמוך ולסייע למובילי המיזם לבין המחויבות לשמור על היושרה המקצועית – מהלך צוות המדידה וההערכה. מאתגר, מורכב, לא טריוויאלי בכלל.
נשמע כמו נושאים לבלוגומטריים רבים נוספים!!
לסיום הייתי רוצה לשאול, איזו פנייה היית רוצה להפנות לפסיכומטריקאים בישראל?
ממליצה לכולנו לגוון את נקודות המבט, דרך התנסויות במגוון ארגונים, כדי להפוך את ההסתכלות על המחקר ליותר עשיר ורב מימדי, ופחות טכני. אל תוותרו על הדיוק במדידה או בדיווח, אבל הפנו מבט מתעניין בהקשר ובאנשים שאמורים לעשות שימוש ולהפיק תועלת ממה שאנחנו עושים. המבט הזה יתרום ליותר פתיחות, גמישות וחמלה, שיעצימו את הרווח של כולנו.
הבלוגומטרי הוא פלטפורמה לשיתוף בידע פסיכומטרי רלבנטי ובעל ערך. מוזמנים לבקר כאורחים, כמגיבים וכצופים שאינם נראים.
Comments