‫חקר המבנה הפנימי של מבחן‬ ‫המיצ"ב במדעים‬ ‫יגאל אטאלי‬ ‫‪Educational Testing Service‬‬ ‫יואל רפ ועינת נוטע‪-‬קורן‬ ‫ראמ"ה‪ -‬הרשות הארצית למדידה והערכה בחינוך‬ ‫מבחן המיצ"ב במדעים‬ ‫• מועבר מדי שנה‬ ‫• כולל פריטים מסוגים שונים‬ ‫– חלק מהפריטים תלויים בגריינים משותפים‬ ‫• מגוון רחב של נושאים‬ ‫מטרת העבודה‬ ‫• המבחן במדעים הוא מבחן רחב הקף‬ ‫• ניתוח המבנה הפנימי של המבחן‬ ‫– התאמה לחלוקה המקורית לנושאים‬ ‫• השלכות למבנה מורכב‬ ‫– מהימנות‬ ‫– ציינון המבחן‬ ‫– פיתוח המבחן‬ ‫נתונים‬ ‫•‬ ‫•‬ ‫•‬ ‫•‬ ‫אחד הנוסחים שהועברו ב‪2010 -‬‬ ‫שבעה נושאים‬ ‫בחירה באחד משני הנושאים האחרונים‬ ‫ניתוחים התבססו על ‪ 2,200‬תלמידים שבחרו‬ ‫בנושא ‪ 6‬וענו על כל השאלות‬ ‫נושאי המבחן‬ ‫‪.1‬‬ ‫‪.2‬‬ ‫‪.3‬‬ ‫‪.4‬‬ ‫‪.5‬‬ ‫‪.6‬‬ ‫‪.7‬‬ ‫מערכות טכנולוגיות ומוצרים )‪ 6‬פריטים(‬ ‫מערכות אקולוגיות )‪ 12‬פריטים(‬ ‫אנרגיה )‪ 5‬פריטים(‬ ‫חומרים )‪ 13‬פריטים(‬ ‫התא )‪ 2‬פריטים(‬ ‫משק המים )‪ 7‬פריטים(‬ ‫רבייה )‪ 7‬פריטים(‬ ‫ניתוחים ראשוניים‬ ‫• ‪ 45‬פריטים‬ ‫• אחוז ממוצע של תשובות נכונות – ‪72%‬‬ ‫• ממוצע מתאמים בין פריטים לציון כולל – ‪0.30‬‬ ‫ניתוחים ברמת הנושא‬ Subject Items M SD Max Score Corr w/Total All 45 71.9 14.4 100 1 6 10.8 2.8 14 0.47 0.52 0.41 2 12 19.3 3.2 24 0.51 0.54 0.58 3 5 7.0 2.1 10 0.39 0.30 0.36 4 13 19.3 6.1 27 0.64 0.76 0.60 5 2 1.4 1.3 4 0.24 0.24 0.19 6 7 14.2 4.8 21 0.62 0.57 0.45 Alpha Expected Alpha 0.84 ‫סוגי המודלים‬ ‫‪GF‬‬ ‫‪F1‬‬ ‫‪F2‬‬ ‫מודל חד גורמי‬ ‫מודל רב גורמי‬ ‫‪GF‬‬ ‫‪F2‬‬ ‫‪F1‬‬ ‫‪F2‬‬ ‫‪F1‬‬ ‫‪GF‬‬ ‫מודל היררכי‬ ‫מודל דו גורמי‬ ‫השוואת מבנים‬ ‫•‬ ‫•‬ ‫•‬ ‫•‬ ‫ניתוח גורמים מאושש‬ ‫תוכנת ‪LISREL‬‬ ‫מטריצת המתאמים הפוליכורים בין הפריטים‬ ‫אומדן באמצעות ‪Diagonally Weighted Least Squares‬‬ ‫התאמת מודלים לנתונים‬ ‫המודל ההיררכי לא התכנס ונזנח‬ ‫התאמה טובה לשאר המודלים‬ ‫שיפור קל במעבר ממודל חד לרב גורמי‬ ‫שיפור קל נוסף במעבר ממודל רב לדו גורמי‬ 1-factor 6-factors Bi-factor 7,069 (945) 4,245 (930) 3,076 (900) CFI 0.97 0.98 0.98 TLI 0.97 0.98 0.98 RMSEA 0.038 0.028 0.023 Chi-square (d.f.) SRMR 0.074 0.063 0.060 Note. CFI = Comparative Fix Index; TLI = Tucker-Lewis Index; RMSEA = Root Mean Square Error of Approximation; SRMR = Standardized Root Mean Square Residual. • • • • ‫מתאמים בין גורמים‬ ‫• טווח רחב של מתאמים‬ ‫‪F5‬‬ ‫‪0.57‬‬ ‫‪F4‬‬ ‫‪F3‬‬ ‫‪F2‬‬ ‫‪F1‬‬ ‫‪0.86‬‬ ‫‪F2‬‬ ‫‪0.53‬‬ ‫‪0.53‬‬ ‫‪F3‬‬ ‫‪0.75‬‬ ‫‪0.65‬‬ ‫‪0.61‬‬ ‫‪F4‬‬ ‫‪0.48‬‬ ‫‪0.46‬‬ ‫‪0.24‬‬ ‫‪0.21‬‬ ‫‪F5‬‬ ‫‪0.80‬‬ ‫‪0.76‬‬ ‫‪0.72‬‬ ‫‪0.75‬‬ ‫‪F6‬‬ ‫השוואת טעינות פריטים‬ ‫חד גורמי ‪ ‬דו גורמי )כללי(‬ ‫‪0.8‬‬ ‫‪0.7‬‬ ‫‪0.6‬‬ ‫‪0.5‬‬ ‫‪0.3‬‬ ‫‪0.2‬‬ ‫‪0.1‬‬ ‫‪0.0‬‬ ‫‪-0.1‬‬ ‫‪0.8‬‬ ‫‪0.7‬‬ ‫‪0.6‬‬ ‫‪0.5‬‬ ‫‪0.4‬‬ ‫‪0.3‬‬ ‫)‪Bi-factor (general factor‬‬ ‫‪0.2‬‬ ‫‪0.1‬‬ ‫‪0.0‬‬ ‫‪-0.1‬‬ ‫‪1-factor‬‬ ‫‪0.4‬‬ ‫השוואת טעינות פריטים‬ ‫דו גורמי )נושא( ‪ ‬דו גורמי )כללי(‬ ‫‪0.8‬‬ ‫‪0.6‬‬ ‫‪ 1‬טכנולוגיה‬ ‫‪ 2‬אקולוגיה‬ ‫‪ 3‬אנרגיה‬ ‫‪ 4‬חומרים‬ ‫‪0.2‬‬ ‫‪ 5‬התא‬ ‫‪ 6‬מים‬ ‫‪0.0‬‬ ‫‪-0.2‬‬ ‫‪0.8‬‬ ‫‪0.0‬‬ ‫‪0.4‬‬ ‫‪Group factor‬‬ ‫‪-0.4‬‬ ‫‪General factor‬‬ ‫‪0.4‬‬ ‫תלות בין פריטים‬ ‫• שארית המתאמים בין פריטים‬ ‫– ההפרש בין המתאם הנצפה למתאם הצפוי על‪-‬פי מודל‬ ‫נתון‬ ‫– מהווה מדד לתלות מקומית בין פריטים‬ ‫• מודלים שונים מובילים למתאמים צפויים שונים‬ ‫• בפרט‪ ,‬המודל הדו גורמי עשוי להסביר שאריות‬ ‫בלתי מוסברות מהמודל החד גורמי‬ ‫שאריות גבוהות מהמודל החד גורמי‬ First item Item Subject 3b 1 3b 1 7 2 9b 2 9b 2 10a 2 10a 2 10a 2 10b 2 10b 2 12c2 2 21b 4 25a2 4 27 5 28 6 Second item Item Subject 1 1 3a 1 6 2 6 2 7 2 6 2 7 2 9b 2 7 2 10a 2 12c1 2 21a 4 25a1 4 26 5 26 5 Residuals 1-factor Bi-factor .23 .02 .33 .03 .37 .03 .24 -.01 .27 .02 .25 -.05 .33 .05 .20 .00 .23 .04 .37 .21 .36 .33 .25 .20 .21 .03 .21 .00 .23 .23 ‫דוגמא לשאריות גבוהות‬ ‫השוואת המודל החד ודו גורמי‬ ‫•‬ ‫•‬ ‫•‬ ‫•‬ ‫התאמת המודל החד גורמי טובה‪ ,‬אך‪...‬‬ ‫התאמת המודל הדו גורמי טובה יותר‬ ‫ברוב המקרים טעינות הפריטים בגורם הנושא היא‬ ‫משמעותית‬ ‫המודל הדו גורמי מסביר את רוב מקרי התלות‬ ‫המקומית בין פריטים‬ ‫השלכות לניתוח הדו גורמי‬ ‫• תכנון המבחן‬ ‫• פיתוח פריטים‬ ‫• ציינון המבחן‬ ‫סיכום‬ ‫• במבחן רחב הקף‪ ,‬יתרונות לניתוח מבנה המבחן‬ ‫• מגבלות‬ ‫– נוסח אחד בלבד‬ ‫– מספר פריטים מועט‬