‫נתונים על בחינת מתא"ם ‪ -‬אוקטובר ‪4102‬‬ ‫הוצגו לוועדת ההיגוי של מתא"ם לישיבה שהתקיימה בתאריך ‪4111113‬‬ ‫עם סיום המועד הראשון של המבחן ב‪ )4111114113( 4113-‬נשמעה טענה על אי שוויון בין נבחנים‬ ‫שלמדו בשני קורסי ההכנה שרוב הנבחנים לומד בהם‪" ,‬פתרונות" ו"אופק"‪1‬‬ ‫בחינת מתא"ם מורכבת משני חלקים‪ :‬מתודולוגיה וטקסטים‪ 1‬בחלק הטקסטים ארבעה קטעים‪ 1‬לפי‬ ‫הטענה‪ ,‬קורס "פתרונות" לימד את הטקסטים מס' ‪ 4‬ומס' ‪ 3‬ובכך ניתן יתרון לא הוגן ללומדים בקורס‬ ‫זה‪ ,‬הן ביחס לטקסטים הנ"ל והן ביחס לזמן שהתפנה לכלל הטקסטים עקב כך (שני הטקסטים הנ"ל‬ ‫הם אכן טקסטים שנעשה בהם שימוש בעבר בבחינת מתא"ם)‪1‬‬ ‫על מנת לסייע בקבלת החלטה הוגנת ושוויונית ככל האפשר לגבי כל אחת מהקבוצות הנ"ל‪ ,‬ו‪/‬או‬ ‫לנבחנים אחרים‪ ,‬נעשו בדיקות מסוגים שונים‪ 1‬הנתונים לבדיקות הגיעו מציוני הגלם של הנבחנים‬ ‫בבחינה זו (מספר תשובות נכונות) ודיווח במשוב שנערך לאחר הבחינה (באיזה קורס למדת? מה‬ ‫סדר ההשבה על הטקסטים?)‪1‬‬ ‫בדיקות אלה ותוצאותיהן מתוארות להלן בסדר הבא‪:‬‬ ‫א‪1‬‬ ‫ב‪1‬‬ ‫איתור נבחנים שלמדו בקורסים של פתרונות ואופק‬ ‫חישוב הישגי הקבוצות השונות בחלקי המבחן השונים ובדיקת פערים ברמת ציוני הגלם‬ ‫ג‪1‬‬ ‫ד‪1‬‬ ‫ה‪1‬‬ ‫נתוני סדר השבה על הטקסטים‬ ‫השוואה בין מספר שיטות חלופיות לחישוב ציוני מועד זה –מהימנויות‬ ‫השוואה בין מספר שיטות חלופיות לחישוב ציוני מועד זה – ציוני גלם‬ ‫א‪ .‬איתור נבחנים שלמדו בקורסים‬ ‫איתור הנבחנים נעשה על סמך דיווח עצמי בשאלון המשוב הניתן לנבחנים מיד בתום המבחן‪1‬‬ ‫לבחינה נגשו ‪ 111‬איש‪1‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫מתוכם‪ :‬מילאו משוב ‪ ,091‬מתוכם‪ :‬הזדהו ‪059‬‬ ‫מתוכם‪ :‬סימנו לימוד בקורסי "אופק" וב"פתרונות" ‪ 543‬איש‬ ‫מתוכם סימנו שלמדו ב"אופק" ‪" ,)01%( 453‬פתרונות" ‪)44%( 171‬‬ ‫‪1‬‬ ‫ב‪ .‬חישוב הישגי הקבוצות השונות בחלקי המבחן השונים ובדיקת פערים ברמת ציוני הגלם‬ ‫הטבלה מציגה נתונים השוואתיים על הקבוצות שבדקנו בסעיף הקודם‪ 1‬בכל שורה מופיעים שני‬ ‫מספרים‪ 1‬העליון ‪ -‬ציון גלם (מספר תשובות נכונות)‪ ,‬התחתון ‪ -‬סטיית תקן של ציון זה‪ 1‬הפער )‪ )D‬בין‬ ‫הקבוצות מבוטא גם במונחי סטיית התקן המשותפת לשתי הקבוצות‪ 1‬נתון זה בר השוואה לאורך‬ ‫הטור של הפער‪1‬‬ ‫הישגי הקבוצות השונות בחלקי המבחן השונים ופערים ברמת ציוני הגלם‬ ‫כולם‬ ‫‪N = 811‬‬ ‫‪D‬‬ ‫‪N = 524‬‬ ‫פער‬ ‫‪N = 524‬‬ ‫אחרים‬ ‫‪N = 287‬‬ ‫דיווח –‬ ‫"פתרונות"‬ ‫‪N = 170‬‬ ‫דיווח –‬ ‫"אופק"‬ ‫‪N = 354‬‬ ‫‪27.3‬‬ ‫‪5.7‬‬ ‫‪0.60‬‬ ‫‪3.3‬‬ ‫‪5.5‬‬ ‫‪26.8‬‬ ‫‪6.1‬‬ ‫‪25.3‬‬ ‫‪6.2‬‬ ‫‪28.6‬‬ ‫‪4.8‬‬ ‫מתודולוגיה‬ ‫‪9.3‬‬ ‫‪2.5‬‬ ‫‪0.60‬‬ ‫‪1.5‬‬ ‫‪2.5‬‬ ‫‪9.2‬‬ ‫‪2.4‬‬ ‫‪8.3‬‬ ‫‪2.6‬‬ ‫‪9.8‬‬ ‫‪2.3‬‬ ‫טקסט ‪1‬‬ ‫‪7.2‬‬ ‫‪2.1‬‬ ‫‪0.29‬‬ ‫‪0.6‬‬ ‫‪2.1‬‬ ‫‪7.2‬‬ ‫‪2.1‬‬ ‫‪6.8‬‬ ‫‪2.2‬‬ ‫‪7.4‬‬ ‫‪2.1‬‬ ‫טקסט ‪4‬‬ ‫‪9.4‬‬ ‫‪2.2‬‬ ‫‪0.29‬‬ ‫‪0.6‬‬ ‫‪2.1‬‬ ‫‪9.2‬‬ ‫‪2.3‬‬ ‫‪9.1‬‬ ‫‪2.3‬‬ ‫‪9.7‬‬ ‫‪2.1‬‬ ‫טקסט ‪4‬‬ ‫‪6.8‬‬ ‫‪2.2‬‬ ‫‪0.05‬‬ ‫‪0.1‬‬ ‫‪2.2‬‬ ‫‪6.8‬‬ ‫‪2.3‬‬ ‫‪6.7‬‬ ‫‪2.2‬‬ ‫‪6.8‬‬ ‫‪2.1‬‬ ‫טקסט ‪3‬‬ ‫ניכרים הבדלים בין הקבוצות‪ 1‬בממוצע אנשי "פתרונות" משיגים ציונים נמוכים מציוני אנשי "אופק"‪ 1‬אפשר‬ ‫לומר כי ההיכרות עם הקטעים אמנם עזרה‪ ,‬אך לא שיפרה באופן דרמטי את הישגי נבחני "פתרונות"‪1‬‬ ‫מסקנות‪ ,‬לגבי פערים‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫הפער בין שתי הקבוצות‪" ,‬פתרונות" ואופק"‪ ,‬אינו קבוע‪:‬‬ ‫‪ 1101‬ס‪1‬ת‪1‬‬ ‫במתודולוגיה הפער הוא‬ ‫‪ 1101‬ס‪1‬ת‪( 1‬פער כמו במתודולוגיה)‬ ‫בטקסט ה‪( 1-‬חדש)‬ ‫‪ 1149‬ס‪1‬ת‪( 1‬הפער יורד במקצת)‬ ‫בטקסט ה‪( 4-‬ישן)‬ ‫‪ 1149‬ס‪1‬ת‪( 1‬הפער כמו בטקסט הקודם)‬ ‫בטקסט ה‪( 4-‬חדש)‬ ‫‪ 1115‬ס‪1‬ת‪( 1‬הפער יורד עוד וכמעט מתאפס)‬ ‫בטקסט ה‪( 3-‬ישן)‬ ‫נראה שערכי הפער נובעים משני גורמים‪ :‬רמת היכרות עם הטקסט ומיקומו ברצף הטקסטים‬ ‫(בטקסט הראשון הפער בין הקבוצות זהה לפער שנצפה בפרק המתודולוגיה‪ ,‬בהמשך הפער יורד‬ ‫ובפרק האחרון‪ ,‬שהיה מוכר לקבוצת "פתרונות" הפער כמעט ונמחק)‪1‬‬ ‫‪4‬‬ ‫ג‪ .‬נתוני סדר השבה על טקסטים‬ ‫לפי דיווח עצמי של ‪ 010‬מכלל הנבחנים‪ 95%( 577 ,‬מהנבחנים) התחילו בפרק הראשון‪1‬‬ ‫מתוכם ‪ )13%( 310‬השיבו לפי סדר הפרקים (‪ 11%‬מכלל הנבחנים)‪1‬‬ ‫נתונים אלה מחזקים את המסקנה שהביצוע בטקסט הראשון לא הושפע מהכרות עם הטקסטים השני‬ ‫והרביעי‪1‬‬ ‫ד‪ .‬השוואת שיטות חלופיות לחישוב ציוני מועד זה – מהימנויות וטעויות תקן של המדידה‬ ‫מהימנות המבחן מעידה על רמת הדיוק שלו‪ 1‬ממוצע ערכי המהימנות של בחינת המתא"ם בעשר‬ ‫השנים האחרונות הוא כלהלן‪ :‬מתודולוגיה ‪ ,1179 -‬טקסטים (כל הארבעה יחדיו) ‪ ,1177 -‬ציון כללי ‪-‬‬ ‫‪1117‬‬ ‫טעות התקן של המדידה מבטאת את סטיית התקן של הציון המדווח סביב הציון האמיתי‪ ,‬על סמך‬ ‫מהימנות המבחן‪ 1‬את גודל טעות התקן של המדידה ניתן להעריך על סמך סטיית התקן של הציונים‬ ‫המדווחים‪ ,‬שערכה הוא ‪141‬‬ ‫הטבלה מציגה את מהימנויות וטעויות התקן של המדידה‪ ,‬לכמה שילובים שונים של פרקי הבחינה‪1‬‬ ‫העיבודים בסעיף זה התבצעו על כל הנבחנים מהמועד (‪ 1)111‬נבדקו שתי חלופות‪ :‬טקסט ראשון‬ ‫בלבד; טקסט ראשון ושלישי‪ 1‬החלופות מושוות לפרק הטקסטים המלא‪ ,‬הכולל את כל ארבעת‬ ‫הטקסטים‪1‬‬ ‫מהימנויות וטעויות התקן של המדידה בחלופות שונות לחישוב ציוני הבחינה‬ ‫פרק טקסטים מלא‬ ‫ארבעה טקסטים‬ ‫חלופה ‪4‬‬ ‫טקסטים ראשון ושלישי‬ ‫חלופה ‪0‬‬ ‫טקסט ראשון‬ ‫‪0.811‬‬ ‫‪8.76‬‬ ‫‪0.749‬‬ ‫‪11.41‬‬ ‫‪0.645‬‬ ‫‪11.94‬‬ ‫מתודולוגיה‬ ‫מתודולוגיה‬ ‫מתודולוגיה‬ ‫‪0.796‬‬ ‫‪9.03‬‬ ‫‪0.796‬‬ ‫‪9.03‬‬ ‫‪0.796‬‬ ‫‪9.03‬‬ ‫ציון כללי‬ ‫ציון כללי‬ ‫ציון כללי‬ ‫‪0.871‬‬ ‫‪7.18‬‬ ‫‪0.821‬‬ ‫‪8.46‬‬ ‫‪0.771‬‬ ‫‪9.57‬‬ ‫מהימנות‬ ‫טעות התקן של המדידה‬ ‫מהימנות‬ ‫טעות התקן של המדידה‬ ‫מהימנות‬ ‫טעות התקן של המדידה‬ ‫ניתן לראות את ההבדלים בין הטורים הנובעים ממספר הטקסטים המשמשים לחישוב הציון‪ 1‬מהימנות‬ ‫הציון הסופי בחלופה ‪ )11771( 1‬נמוכה ב‪ 111 -‬מהמהימנות של הציון הכללי עם כל ארבעת הטקסטים‬ ‫(‪ )11171‬ונמוכה ב‪ 1115 -‬מהמהימנות של הציון הכללי עם טקסטים ‪1)11141( 134‬‬ ‫‪4‬‬ ‫ה‪ .‬השוואה בין כמה שיטות חלופיות לחישוב ציוני מועד זה – פערי ציונים‬ ‫הטבלה מציגה נתונים השוואתיים על הקבוצות שנבדקו ‪ -‬בכל שורה מופיעים שני מספרים ‪ -‬העליון ‪-‬‬ ‫ציון גלם (מספר תשובות נכונות)‪ ,‬התחתון ‪ -‬סטיית תקן של ציון זה‪ 1‬נבדקו שתי החלופות (טקסט ‪1‬‬ ‫וטקסט ‪ )134‬ונערכה השוואה למצב של פרק טקסטים מלא‪ 1‬הפער בין הקבוצות (‪ )D‬מבוטא גם‬ ‫במונחי סטיית התקן המשותפת לשתי הקבוצות‪ 1‬נתון זה בר השוואה לאורך הטור של הפער‪1‬‬ ‫נתונים על אודות הישגי הנבחנים בקבוצות השונות בחלופות לחשוב ציוני מתא"ם‬ ‫כולם‬ ‫‪D‬‬ ‫פער‬ ‫אחרים‬ ‫דיווח –‬ ‫"פתרונות"‬ ‫דיווח –‬ ‫"אופק"‬ ‫‪N = 811‬‬ ‫‪N = 534‬‬ ‫‪N = 524‬‬ ‫‪N = 287‬‬ ‫‪N = 170‬‬ ‫‪N = 354‬‬ ‫‪27.3‬‬ ‫‪5.7‬‬ ‫‪0.60‬‬ ‫‪3.3‬‬ ‫‪5.5‬‬ ‫‪26.8‬‬ ‫‪6.1‬‬ ‫‪25.3‬‬ ‫‪6.2‬‬ ‫‪28.6‬‬ ‫‪4.8‬‬ ‫מתודולוגיה‬ ‫‪9.3‬‬ ‫‪2.5‬‬ ‫‪0.60‬‬ ‫‪1.5‬‬ ‫‪2.5‬‬ ‫‪9.2‬‬ ‫‪2.4‬‬ ‫‪8.3‬‬ ‫‪2.6‬‬ ‫‪9.8‬‬ ‫‪2.3‬‬ ‫חלופה ‪ - 1‬טקסט ‪1‬‬ ‫‪18.7‬‬ ‫‪4.1‬‬ ‫‪0.53‬‬ ‫‪2.1‬‬ ‫‪4‬‬ ‫‪18.4‬‬ ‫‪4.1‬‬ ‫‪17.4‬‬ ‫‪4.4‬‬ ‫‪19.5‬‬ ‫‪3.7‬‬ ‫חלופה ‪ - 4‬טקסטים ‪134‬‬ ‫‪32.7‬‬ ‫‪6.8‬‬ ‫‪0.41‬‬ ‫‪2.8‬‬ ‫‪6.9‬‬ ‫‪32.4‬‬ ‫‪6.8‬‬ ‫‪30.9‬‬ ‫‪7.5‬‬ ‫‪33.7‬‬ ‫‪6.4‬‬ ‫פרק מלא ‪ -‬ארבעה טקסטים‬ ‫לסיכום‬ ‫בחלופה הראשונה (טקסט ‪ )1‬יש פער זהה בין הקבוצות (‪ )110‬הן במתודולוגיה והן בטקסטים‪ 1‬אמנם‬ ‫המהימנות שלה נמוכה במעט מחלופה ‪( 4‬טקסטים ‪ )134‬אך זו החלופה השוויונית וההוגנת ביותר‬ ‫מבין החלופות ולכן נבחרה כחלופה העדיפה על ידי ועדת ההיגוי של מתאם בשיתוף נציגי התאחדות‬ ‫הסטודנטים‪ ,‬ואושרה על ידי ראשי המחלקות לפסיכולוגיה‪ 1‬ציון נבחני מועד זה יחושב על סמך ביצועם‬ ‫בפרק המתודולוגיה ובטקסט הראשון‪ ,‬במשקלות הנהוגים בבחינה זו (‪ 41%‬מתודולוגיה ו‪71%-‬‬ ‫טקסטים)‪1‬‬ ‫‪3‬‬