המציאות במבחן תחום לקיצוץ תיקון

‫תיקון לקיצוץ תחום במבחן המציאות‬
‫יונתן סער‬
‫תמר קנת‪-‬כהן‬
‫פברואר ‪2015‬‬
‫‪1‬‬
‫רקע‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪2‬‬
‫בממצאי מחקרים בתחום המיון החינוכי ניתן‬
‫למצוא באופן שגרתי מקדמי תוקף שתוקנו לקיצוץ‬
‫תחום‬
‫הבעיה העקרונית‪ :‬לאלו שלא התקבלו ללימודים‬
‫אין ציון קריטריון‬
‫התיקון מסייע במתן מענה לשאלת תוקף הניבוי‬
‫של כלי מיון‬
‫קיצוץ ישיר‬
‫‪r = 0.50‬‬
‫‪r = 0.31‬‬
‫‪s = 5.5‬‬
‫‪S = 10‬‬
‫‪100‬‬
‫‪100‬‬
‫‪90‬‬
‫‪90‬‬
‫‪60‬‬
‫‪70‬‬
‫‪80‬‬
‫‪60‬‬
‫‪50‬‬
‫‪40‬‬
‫ציון סכם‬
‫‪3‬‬
‫‪30‬‬
‫‪20‬‬
‫ממוצע תואר‬
‫‪70‬‬
‫‪70‬‬
‫‪60‬‬
‫‪50‬‬
‫‪50‬‬
‫‪40‬‬
‫‪40‬‬
‫‪80‬‬
‫‪70‬‬
‫‪60‬‬
‫‪50‬‬
‫‪40‬‬
‫ציון סכם‬
‫‪30‬‬
‫‪20‬‬
‫ממוצע תואר‬
‫‪80‬‬
‫‪80‬‬
‫קיצוץ עקיף‬
‫‪r = 0.42‬‬
‫‪r = 0.28‬‬
‫‪s = 50‬‬
‫‪S = 80‬‬
‫‪100‬‬
‫‪100‬‬
‫‪90‬‬
‫‪90‬‬
‫‪60‬‬
‫‪800‬‬
‫‪700‬‬
‫‪600‬‬
‫‪500‬‬
‫פסיכומטרי‬
‫‪4‬‬
‫‪400‬‬
‫‪300‬‬
‫ממוצע תואר‬
‫‪70‬‬
‫‪70‬‬
‫‪60‬‬
‫‪50‬‬
‫‪50‬‬
‫‪40‬‬
‫‪40‬‬
‫‪800‬‬
‫‪700‬‬
‫‪600‬‬
‫‪500‬‬
‫פסיכומטרי‬
‫‪400‬‬
‫‪300‬‬
‫ממוצע תואר‬
‫‪80‬‬
‫‪80‬‬
‫הנחות‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪5‬‬
‫לינאריות – קשר ישר קבוע בין המשתנים לכל‬
‫אורך התחום‬
‫הומוסקדסטיות – פיזור קבוע מסביב לקו‬
‫הרגרסיה לכל אורך התחום‬
‫מקרים מועדים להפרת ההנחות – יחס ברירה‬
‫קיצוני‪ ,‬התפלגות אסימטרית של משתנה הברירה‬
‫נוסחה‬
‫‪‬‬
‫התיקון משתמש במתאמים הנצפים וביחס בין‬
‫סטיות התקן של משתנה הברירה בתחום המלא‬
‫ובתחום המקוצץ‬
‫)‪(Gulliksen, 1950, Linn, 1983‬‬
‫‪6‬‬
‫ביקורת‬
‫‪‬‬
‫ההתייחסות לשימוש בתיקון לקיצוץ תחום מלוּוה‬
‫לא אחת בחשדנות‪ ,‬גם מצד אנשי מחקר‪:‬‬
‫"[המחקרים] עליהם נשענת שיטת המיון‬
‫במערכת ההשכלה הגבוהה לוקים בחסר‪ ,‬מאחר‬
‫שהמחקרים מדווחים בעיקר על מידת המתאם‬
‫המתוקן שבין הציון הפסיכומטרי לבין ציוני‬
‫התואר של הסטודנטים"‬
‫‪7‬‬
‫ביקורת אחרת‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪8‬‬
‫מתמקדת בטיב התיקון במצבים של ברירה‬
‫קיצונית‬
‫קשה לתפוס איך מתוך חלק קטן כל כך מהמדגם‬
‫ניתן להסיק על כלל המדגם‬
‫ספקנות באשר למהימנות המדידה באזורי הקצה‬
‫המחקר הנוכחי‬
‫‪‬‬
‫בחינת יעילות התיקון בתנאים המזמינים הפרה‬
‫של ההנחות עליהן הוא נשען‪:‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪9‬‬
‫יחס ברירה קיצוני‬
‫התפלגות אסימטרית של משתנה הברירה‬
‫טעות בזיהוי משתנה הברירה‬
‫סימולציית‬
‫אמיתיות‬
‫ברירה‬
‫על‬
‫התפלגויות‬
‫ציונים‬
‫שיטה‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪10‬‬
‫המחקר נעשה על שני מדגמי "מועמדים"‬
‫בשני המקרים התיקון התבסס על ההנחה שהציון‬
‫הפסיכומטרי הכללי הוא משתנה הברירה‬
‫הציון הפסיכומטרי בתחום המילולי משמש כחזאי‬
‫שעבר ברירה עקיפה‬
‫במדגם ‪ 1‬משתנה הקריטריון הוא ממוצע הבגרות‪,‬‬
‫ובמדגם ‪ 2‬הקריטריון הוא ציון המתא"ם‬
‫מדגם (‪)1‬‬
‫‪‬‬
‫‪ 23,274‬נבחני פסיכומטרי בערבית שהחלו את‬
‫לימודיהם באוניברסיטה בין השנים תשנ"ו‪-‬‬
‫תשע"א ושידוע ממוצע הבגרות שלהם‬
‫‪200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800‬‬
‫‪11‬‬
‫פסיכומטרי‬
‫הליך (‪)1‬‬
‫‪‬‬
‫‪‬‬
‫"התקבלו" אלו שהציון הפסיכומטרי הכללי‬
‫המירבי שלהם הוא ‪ 690‬ומעלה‬
‫יחס ברירה קיצוני‬
‫‪200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800‬‬
‫‪12‬‬
‫פסיכומטרי‬
‫תוצאות )‪ –(1‬סטטיסטים פשוטים‬
‫מדגם‬
‫שכיחות‬
‫מועמדים‬
‫‪23274‬‬
‫מתקבלים‬
‫‪1130‬‬
‫‪13‬‬
‫פסיכומטרי כללי‬
‫פסיכומטרי מילולי‬
‫בגרות‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫‪515‬‬
‫(‪)104.1‬‬
‫‪717‬‬
‫(‪)20.4‬‬
‫‪102‬‬
‫(‪)20.0‬‬
‫‪138‬‬
‫(‪)6.7‬‬
‫‪99‬‬
‫(‪)11.7‬‬
‫‪114‬‬
‫(‪)4.3‬‬
‫תוצאות (‪ - )1‬מתאמים‬
‫מדגם (סוג מתאם)‬
‫פסיכומטרי כללי – בגרות‬
‫פסיכומטרי מילולי – בגרות‬
‫מועמדים (נצפה)‬
‫‪0.76‬‬
‫‪0.68‬‬
‫מתקבלים (נצפה)‬
‫‪0.24‬‬
‫‪0.03‬‬
‫מועמדים (מתוקן)‬
‫‪0.78‬‬
‫‪0.73‬‬
‫‪14‬‬
‫מדגם (‪)2‬‬
‫‪‬‬
‫‪ 8,995‬נבחני מתא"ם בשנים‬
‫שנבחנו גם בבחינה הפסיכומטרית‬
‫‪2002-2013‬‬
‫‪200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800‬‬
‫‪15‬‬
‫פסיכומטרי‬
‫הליך (‪-2‬א)‬
‫‪‬‬
‫‪‬‬
‫"התקבלו" אלו שהציון הפסיכומטרי הכללי‬
‫המירבי שלהם הוא ‪ 720‬ומעלה‬
‫יחס ברירה קיצוני ‪ +‬התפלגות אסימטרית של‬
‫משתנה הברירה‬
‫‪200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800‬‬
‫‪16‬‬
‫פסיכומטרי‬
‫תוצאות (‪-2‬א) – סטטיסטים פשוטים‬
‫מדגם‬
‫שכיחות‬
‫מועמדים‬
‫‪8995‬‬
‫מתקבלים‬
‫‪1169‬‬
‫‪17‬‬
‫פסיכומטרי כללי‬
‫פסיכומטרי מילולי‬
‫מתא"ם‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫‪652‬‬
‫(‪)67.4‬‬
‫‪740‬‬
‫(‪)16.0‬‬
‫‪128‬‬
‫(‪)13.7‬‬
‫‪143‬‬
‫(‪)4.3‬‬
‫‪101‬‬
‫(‪)20.5‬‬
‫‪122‬‬
‫(‪)13.3‬‬
‫תוצאות (‪-2‬א) – מתאמים‬
‫מדגם (סוג מתאם)‬
‫פסיכומטרי כללי – מתא"ם‬
‫פסיכומטרי מילולי – מתא"ם‬
‫מועמדים (נצפה)‬
‫‪0.71‬‬
‫‪0.63‬‬
‫מתקבלים (נצפה)‬
‫‪0.27‬‬
‫‪0.14‬‬
‫מועמדים (מתוקן)‬
‫‪0.77‬‬
‫‪0.71‬‬
‫‪18‬‬
‫הליך (‪-2‬ב)‬
‫‪‬‬
‫‪‬‬
‫‪19‬‬
‫"התקבלו" אלו שהציון הפסיכומטרי הכללי‬
‫שלהם הוא ‪ 745‬ומעלה ו‪/‬או הציון הפסיכומטרי‬
‫שלהם בתחום האנגלית הוא ‪ 146‬ומעלה‬
‫יחס ברירה קיצוני ‪ +‬התפלגות אסימטרית של‬
‫משתנה הברירה ‪ +‬זיהוי שגוי של משתנה הברירה‬
‫‪200 240 280 320 360 400 440 480 520 560 600 640 680 720 760 800‬‬
‫פסיכומטרי‬
‫תוצאות (‪-2‬ב) – סטטיסטים פשוטים‬
‫מדגם‬
‫שכיחות‬
‫מועמדים‬
‫‪8995‬‬
‫מתקבלים‬
‫‪1180‬‬
‫‪20‬‬
‫פסיכומטרי כללי‬
‫פסיכומטרי מילולי‬
‫מתא"ם‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫ממוצע‬
‫(ס‪ .‬תקן)‬
‫‪652‬‬
‫(‪)67.4‬‬
‫‪717‬‬
‫(‪)39.0‬‬
‫‪128‬‬
‫(‪)13.7‬‬
‫‪138‬‬
‫(‪)8.9‬‬
‫‪101‬‬
‫(‪)20.5‬‬
‫‪119‬‬
‫(‪)15.4‬‬
‫תוצאות (‪-2‬ב) – מתאמים‬
‫מדגם (סוג מתאם)‬
‫פסיכומטרי כללי – מתא"ם‬
‫פסיכומטרי מילולי – מתא"ם‬
‫מועמדים (נצפה)‬
‫‪0.71‬‬
‫‪0.63‬‬
‫מתקבלים (נצפה)‬
‫‪0.48‬‬
‫‪0.39‬‬
‫מועמדים (מתוקן)‬
‫‪0.69‬‬
‫‪0.63‬‬
‫‪21‬‬
‫סיכום‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪22‬‬
‫תיקון לקיצוץ תחום הוא לא הוקוס‪-‬פוקוס‬
‫סטטיסטי‬
‫סימולציות ברירה על התפלגויות ציונים‬
‫אמפיריות מראות שהמתאמים המתוקנים‬
‫מהווים אומדן קרוב למתאמים האמיתיים‬
‫התיקון נמצא יעיל גם בתנאים המאתגרים את‬
‫ההנחות‬
‫יש צורך במחקר נוסף לאפיון מצבי ברירה‬
‫שכיחים ואיכות התיקון בהם‬