‫הערכת עמיתים בקרב סטודנטים‬ ‫לרפואה‪ ,‬ככלי לבחינת תוקף‬ ‫הניבוי של מבחני מרק"ם ומו"ר‬ ‫אביאל חדד – בית הספר לבריאות הציבור‪ ,‬האוניברסיטה העברית‬ ‫נעמי גפני‪ ,‬אביטל מושינסקי‪ ,‬אליוט טוורול – מרכז ארצי לבחינות ולהערכה‬ ‫אמיתי זיו – מרכז ארצי לסימולציה רפואית‬ ‫אבי ישראלי – בית הספר לבריאות הציבור‪ ,‬האוניברסיטה העברית‬ ‫רקע ‪ -‬מבחני מרק"ם ומו"ר‬ ‫‪ ‬מבחני מו"ר הוכנסו לשימוש לראשונה בשנת ‪2004‬‬ ‫באוניברסיטת תל אביב‪.‬‬ ‫‪ ‬מבחני מרק"ם הוכנסו לשימוש לראשונה בשנת ‪2006‬‬ ‫באוניברסיטה העברית‪.‬‬ ‫‪ ‬מבחני מרק"ם ומו"ר מבוססים על שיטת ה – ‪MMI‬‬ ‫)‪ (Multiple Mini-Interviews‬הקנדית‪.‬‬ ‫‪ ‬מטרתם ‪ -‬הערכת המועמדים ללימודי רפואה בממדים‬ ‫נוספים מלבד הממדים הקוגניטיביים המקובלים‪.‬‬ ‫‪ ‬כיום משמשים מבחנים מבוססי ‪ MMI‬בארבעה בתי ספר‬ ‫לרפואה בישראל‪.‬‬ ‫מטרות המחקר‬ ‫‪ ‬בדיקת תוקף הניבוי של מבחני מרק"ם‪.‬‬ ‫‪ ‬אפיון התכונות שביכולת מבחני מרק"ם לנבא‪.‬‬ ‫כלי תיקוף שנעשה בהם שימוש במחקרים קודמים‬ ‫‪ - OSCE ‬נמצאו מתאמים בין ‪ 0.35‬ל‪ 0.43 -‬בין ציוני ה ‪OSCE‬‬ ‫וציוני מבחני ה– ‪ .MMI‬הקורלציה בין הציונים הלכה והתחזקה‬ ‫ככל שעברו השנים‪(N=44, 35) .‬‬ ‫‪ – MCCQE ‬נמצא מתאם של ‪ 0.35‬בין הציונים במבחני הרישוי‬ ‫הקנדיים לבוגרי בית הספר לרפואה בחלק העוסק ב "סוגיות‬ ‫אתיות וחוקיות של הרפואה" לבין ציוני ה ‪.(N=44, 71) .MMI‬‬ ‫‪ - Neo-5 ‬נמצאו מתאמים חלשים)‪ (~0.2‬אך מובהקים‬ ‫סטטיסטית עם התכונות מוחצנות )‪ ,(extraversion‬ומוכוונות‬ ‫)‪.(N=868) (Conscientiousness‬‬ ‫החזאים במבחני מרק"ם ומו"ר‬ ‫‪ ‬שאלון שיפוט והחלטה‬ ‫‪ ‬שאלון אוטוביוגרפי‬ ‫‪ ‬ממדים – תחנות)‪:(MMI‬‬ ‫‪ ‬תקשורת בן אישית‬ ‫‪ ‬יכולת עמידה בלחצים‬ ‫‪ ‬יוזמה ואחריות‬ ‫‪ ‬תכנים )מרק"ם( ‪ /‬מודעות עצמית)מו”ר(‬ ‫הקריטריונים בשאלון הערכת עמיתים‬ ‫‪ ‬קבוצת התכונות‪-‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫קבוצת הערכות הכלליות‪-‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫רגישות ואמפתיה‬ ‫ידע מקצועי ורפואי‬ ‫יכולת עבודת צוות‬ ‫כושר התמודדות עם לחץ‬ ‫אמינות‬ ‫‪‬‬ ‫תקשורת בין אישית‬ ‫מודעות עצמית‬ ‫פתיחות לביקורת‬ ‫התמודדות עם מצבים אתיים‬ ‫רצינות אחריות‬ ‫הערכה במישור הבין אישי בלבד כרופא בעתיד‪.‬‬ ‫הערכה כוללת כרופא בעתיד‪.‬‬ ‫סכום ההערכות של השאלות המתייחסות לקבוצת התכונות‪.‬‬ ‫מידת ההיכרות של המעריך עם המוערך‪.‬‬ ‫שאלון הערכת עמיתים ‪ -‬נוסח מלא‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫אמפתיה ורגישות למתרפא‪:‬‬ ‫מגלה הבנה להיבטים רגשיים של המטופל‪ .‬מפגין כלפיו‬ ‫כבוד‪ ,‬חמלה‪ ,‬אכפתיות‪ ,‬אמפתיה והבנה‪.‬‬ ‫‪‬‬ ‫ידע מקצועי ורפואי‪:‬‬ ‫מפגין ידע מקצועי נרחב )ידע תיאורטי‪-‬מדעי וידע קליני(‬ ‫עבודת צוות‪:‬‬ ‫‪‬‬ ‫עובד בשיתוף פעולה עם עמיתיו‪ ,‬חולק עמם מידע‬ ‫רלוונטי ומגלה רגישות והבנה לצרכי עמיתיו‪ .‬תורם‬ ‫לקבוצה ומהווה גורם חיובי בה‪.‬‬ ‫כושר התמודדות עם לחצים‪:‬‬ ‫‪‬‬ ‫מגלה שליטה עצמית‪ ,‬סובלנות‪ ,‬קור רוח ועמידה‬ ‫בלחצים‪.‬‬ ‫‪‬‬ ‫אמינות‪:‬‬ ‫אמין וישר בדיווח על ממצאיו‪.‬‬ ‫תקשורת בין אישית‪:‬‬ ‫‪‬‬ ‫בעל מיומנויות בין אישית ויכולות תקשורת הבאות לידי‬ ‫ביטוי מול המטופלים‪ ,‬מול עמיתיו ומול סגל ההדרכה‪.‬‬ ‫פתיחות לביקורת‪:‬‬ ‫‪‬‬ ‫מוכן לקבל ביקורת על עבודתו מעמיתיו ומהסגל‪ .‬מסוגל‬ ‫לשמוע ביקורת עליו גם כאשר אינו מסכים לנאמר‪.‬‬ ‫‪‬‬ ‫התמודדות עם מצבים אתיים מורכבים‪:‬‬ ‫מבין היבטים שונים של סיטואציות מורכבות‪ .‬מסוגל‬ ‫להתייחס להיבטים שונים של מורכבות הסיטואציה‪.‬‬ ‫מודעות עצמית‪:‬‬ ‫מסוגל להעריך נכונה את רמת הידע שלו ואת כישוריו‬ ‫הקליניים‪ .‬מוכן לבקש עזרה בעת הצורך‪.‬‬ ‫רצינות‪:‬‬ ‫מגלה רצינות ואחריות בקשר לחובותיו כסטודנט‪.‬‬ ‫שאלות סיכום‪:‬‬ ‫הערכה כרופא לעתיד במישור הבין אישי בלבד‪:‬‬ ‫מבחינת יחסי האנוש בלבד‪ ,‬תוך התעלמות מרמת הידע‬ ‫הרפואי והמיומנות הקלינית‪ .‬האם היית רוצה שעמית זה‬ ‫יטפל בך או במשפחתך?‬ ‫הערכה כוללת כרופא לעתיד‪:‬‬ ‫בהסתכלות כוללת‪ ,‬האם היית רוצה שעמית זה יטפל‬ ‫בך או במשפחתך?‬ ‫מידת ההיכרות‪:‬‬ ‫באיזו מידה‪ ,‬לדעתך‪ ,‬הינך מסוגל להעריך את העמיתים‬ ‫הבאים‪:‬‬ ‫שאלון הערכת עמיתים‬ ‫‪ ‬שאלון וירטואלי‪ ,‬אנונימי‪ ,‬רוחבי‪ ,‬מחייב‪ ,‬אשר נמדד במשתני מדידה‬ ‫רציפים על סולם של ‪.1-6‬‬ ‫‪‬‬ ‫קישור לשאלון‬ ‫קבוצת המחקר‬ ‫‪ ‬סטודנטים לרפואה מתחלקים במהלך שנות הלימוד הקליניות‬ ‫ל‪ 10-‬קבוצות בנות ‪ 8-14‬סטודנטים בכל קבוצה‪.‬‬ ‫‪ 118‬סטודנטים לרפואה סיימו את לימודי השנה הרביעית‬ ‫בשנת ‪ 2011‬וביצעו מבחן מרק"ם‬ ‫‪ 101‬סטודנטים שהוצג בפניהם המחקר‬ ‫‪ 99‬סטודנטים הביעו הסכמה להשתתפות במחקר‬ ‫‪ 91‬שאלונים מולאו במלואם ביחס ל‪ 99 -‬הסטודנטים‬ ‫מתאמי פירסון שנמצאו בין הקריטריונים במחקר‬ ‫‪N=99‬‬ ‫אמפתיה‬ ‫ידע רפואי‬ ‫עבודת‬ ‫ידע‬ ‫עבודת‬ ‫עמידה‬ ‫רפואי‬ ‫צוות‬ ‫בלחצים‬ ‫‪0.20‬‬ ‫אמינות‬ ‫יכולות‬ ‫פתיחות‬ ‫אתיקה‬ ‫תקשורת לביקורת‬ ‫מודעות‬ ‫רצינות‬ ‫עצמית‬ ‫‪0.81‬‬ ‫‪0.39‬‬ ‫‪0.76‬‬ ‫‪0.89‬‬ ‫‪0.75‬‬ ‫‪0.86‬‬ ‫‪0.78‬‬ ‫‪0.61‬‬ ‫‪0.32‬‬ ‫‪0.45‬‬ ‫‪0.38‬‬ ‫‪0.26‬‬ ‫‪0.15‬‬ ‫‪0.4‬‬ ‫‪0.21‬‬ ‫‪0.68‬‬ ‫‪0.45‬‬ ‫‪0.74‬‬ ‫‪0.83‬‬ ‫‪0.79‬‬ ‫‪0.71‬‬ ‫‪0.84‬‬ ‫‪0.65‬‬ ‫צוות‬ ‫עמידה‬ ‫‪0.46‬‬ ‫‪0.51‬‬ ‫‪0.50‬‬ ‫‪0.61‬‬ ‫‪0.43‬‬ ‫‪0.39‬‬ ‫בלחצים‬ ‫אמינות‬ ‫יכולות‬ ‫‪0.69‬‬ ‫‪0.71‬‬ ‫‪0.79‬‬ ‫‪0.78‬‬ ‫‪0.62‬‬ ‫‪0.74‬‬ ‫‪0.82‬‬ ‫‪0.79‬‬ ‫‪0.58‬‬ ‫תקשורת‬ ‫פתיחות‬ ‫‪0.69‬‬ ‫‪0.85‬‬ ‫‪0.42‬‬ ‫לביקורת‬ ‫אתיקה‬ ‫מודעות‬ ‫עצמית‬ ‫‪0.73‬‬ ‫‪0.62‬‬ ‫‪0.53‬‬ ‫תיקון לקיצוץ תחום‬ ‫כלל אוכלוסית המועמדים‬ ‫סטודנטים לרפואה‬ N :‫ ת‬.‫ס‬ :‫ממוצע‬ :.‫ת‬.‫ס‬ :‫ממוצע‬ 20 200 10.31 215.09 99 ‫מרק"ם‬ 20 200 13.53 209.95 75 ‫מו"ר‬ **Bland, J.M., Altman, D.G. Correlation in restricted ranges of data.(2011) BMJ (Clinical research ed.), 342, pp. d556. ‫מרק"ם ומו"ר‬ ‫מתאמים מתוקנים בין השאלונים להערכות עמיתים‬ ‫‪ ‬שאלון שיפוט והחלטה ‪ -‬לא נמצאו קורלציות משמעותיות‪.‬‬ ‫‪ ‬שאלון ביוגראפי ‪-‬‬ ‫לא נמצאו קורלציות משמעותיות‪.‬‬ ‫מרק"ם‬ ‫מתאמים מתוקנים בין משתני התחנות של מרק"ם‬ ‫לבין הערכות עמיתים‬ ‫‪N=99‬‬ ‫מרק"ם‬ ‫תקשורת‬ ‫אתיקה‪:‬‬ ‫יכולות תקשורת‪:‬‬ ‫ידע רפואי‪:‬‬ ‫‪0.44‬‬ ‫‪0.39‬‬ ‫‪0.03‬‬ ‫הערכה כוללת ‪-‬‬ ‫בין אישי‪:‬‬ ‫הערכה כוללת‪:‬‬ ‫סכום ההערכות‪:‬‬ ‫מרק"ם מרק"ם מרק"ם ציון כללי‬ ‫עמידה אחריות תכנים תחנות‬ ‫בלחצים‬ ‫‪0.40 0.28 0.26‬‬ ‫‪0.11‬‬ ‫‪0.29 0.12‬‬ ‫‪0.1‬‬ ‫‪0.09‬‬ ‫‪0.04 -0.03 0.13‬‬ ‫‪0.11‬‬ ‫‪0.44‬‬ ‫‪0.02‬‬ ‫‪0.05‬‬ ‫‪0.06‬‬ ‫‪0.28‬‬ ‫‪0.28‬‬ ‫‪0.40‬‬ ‫‪0.07‬‬ ‫‪0.04‬‬ ‫‪0.07‬‬ ‫‪0.11‬‬ ‫‪0.05‬‬ ‫‪0.13‬‬ ‫‪0.19‬‬ ‫‪0.29‬‬ ‫מו"ר‬ ‫מתאמים מתוקנים בין משתני התחנות של מו"ר לבין‬ ‫הערכות עמיתים‬ ‫ממוצע‬ ‫מו”ר‬ ‫מו"ר‬ ‫מו"ר‬ ‫מו"ר‬ ‫‪N=75‬‬ ‫תקשורת עמידה אחריות מודעות תחנות‬ ‫מו"ר‬ ‫עצמית‬ ‫בלחצים‬ ‫‪0.34‬‬ ‫‪0.25‬‬ ‫‪0.18‬‬ ‫‪0.25‬‬ ‫‪0.38‬‬ ‫אתיקה‪:‬‬ ‫‪0.39‬‬ ‫‪0.27‬‬ ‫‪0.23‬‬ ‫‪0.27‬‬ ‫יכולות תקשורת‪0.44 :‬‬ ‫‪0.12‬‬ ‫‪0.02‬‬ ‫‪0.11‬‬ ‫‪0.19‬‬ ‫‪0.12‬‬ ‫ידע רפואי‪:‬‬ ‫הערכה כוללת ‪0.38 -‬‬ ‫בין אישי‪:‬‬ ‫הערכה כוללת‪0.37 :‬‬ ‫סכום ההערכות‪0.36 :‬‬ ‫‪0.17‬‬ ‫‪0.14‬‬ ‫‪0.22‬‬ ‫‪0.32‬‬ ‫‪0.28‬‬ ‫‪0.17‬‬ ‫‪0.21‬‬ ‫‪0.11‬‬ ‫‪0.19‬‬ ‫‪0.20‬‬ ‫‪0.33‬‬ ‫‪0.30‬‬ ‫מרק"ם ומו"ר‬ ‫השוואת מו"ר ומרק"ם – מדגמים שונים‬ ‫ציון מרק"ם‪:‬‬ ‫ציון מו"ר‪:‬‬ ‫‪N=99‬‬ ‫‪N=75‬‬ ‫הערכה כוללת ‪ -‬בין אישי‪:‬‬ ‫‪0.35‬‬ ‫‪0.36‬‬ ‫הערכה כוללת‪:‬‬ ‫‪0.33‬‬ ‫‪0.42‬‬ ‫סכום ההערכות‪:‬‬ ‫‪0.39‬‬ ‫‪0.37‬‬ ‫מרק"ם ומו"ר‬ ‫השוואת מו"ר ומרק"ם – מדגם זהים‬ ‫ציון מרק"ם‪:‬‬ ‫ציון מו"ר‪:‬‬ ‫‪N=75‬‬ ‫‪N=75‬‬ ‫הערכה כוללת ‪ -‬בין אישי‪:‬‬ ‫‪0.17‬‬ ‫‪0.36‬‬ ‫הערכה כוללת‪:‬‬ ‫‪0.08‬‬ ‫‪0.42‬‬ ‫סכום ההערכות‪:‬‬ ‫‪0.15‬‬ ‫‪0.37‬‬ ‫מסקנות‬ ‫‪ ‬נמצא כי למבחני ה‪ MMI-‬היכולת לנבא כישורים לא‬ ‫קוגניטיביים‪ .‬התכונות העיקריות שביכולת ה‪ MMI -‬לנבא הינן‬ ‫כישורי תקשורת ותפיסה אתית‪.‬‬ ‫‪ ‬המשתתפים בהערכת העמיתים מסוגלים להפריד בין תכונות‬ ‫קוגניטיביות של עמיתיהם לבין תכונות לא קוגניטיביות‪.‬‬ ‫‪ ‬לא נמצאו מתאמים משמעותיים בין ציוני שני השאלונים לבין‬ ‫הערכות העמיתים לגבי כישורים לא קוגניטיביים‪.‬‬ ‫‪ ‬גודל המדגם הינו מוגבל במחקר זה‪ .‬יש צורך לחזור על‬ ‫המחקר במדגמים גדולים יותר ומקומות נוספים‪.‬‬ ‫נספח – עיקרי הנתונים ללא תיקון לקיצוץ תחום‬ ‫ציון מרק"ם‪:‬‬ ‫ציון מו"ר‪:‬‬ ‫‪N=99‬‬ ‫‪N=75‬‬ ‫הערכה כוללת ‪ -‬בין אישי‪:‬‬ ‫‪0.19‬‬ ‫‪0.25‬‬ ‫הערכה כוללת‪:‬‬ ‫‪0.18‬‬ ‫‪0.30‬‬ ‫סכום ההערכות‪:‬‬ ‫‪0.21‬‬ ‫‪0.26‬‬