תוקף ממצאי הניסוי
תוקף ממצאי הניסוי ניתן לשאול ארבע שאלות הנוגעות לטיב הניסוי ולטיב ממצאיו: .1 האם הקשר הסטטיסטי בין המשתנה התלוי והבלתי תלוי ,ברמה התצפיתית ,הוא אכן מובהק ,או שהתקבל במקרה? .2 האם הקשר הסטטיסטי בין המשתנים ברמה התצפיתית אכן מעיד על קשר סיבתי ברמה התצפיתית? .3האם הקשר שהתגלה ברמה התצפיתית מעיד על קשר בין המשתנה הבלתי תלוי למשתנה התלוי ברמה התיאורטית? .4 באיזו מידה ניתן להכליל את הקשר שנמצא במדגם לאוכלוסיות ולמצבים אחרים? כל אחת מהשאלות מגדירה קריטריון לבחינת טיב הניסוי וממצאיו ,כלומר ,כל אחת מהשאלות מתייחסת להיבט אחר של תוקף ממצאי הניסוי :תוקף המסקנה הסטטיסטית נוגע לשאלה הראשונה ,התוקף הפנימי לשנייה, תוקף המבנה לשלישית והתוקף החיצוני לשאלה האחרונה .ארבעת סוגי התוקף הם הקריטריונים להערכת מחקר ,והם מנחים את החוקר כבר בשלב תכנון המחקר. תוקף המסקנה הסטטיסטית תוקף המסקנה הסטטיסטית ( )conclusion validityמתייחס לשאלה :האם הקשר הסטטיסטי שנמצא בין המשתנים מובהק? האם סביר להניח כי קשר דומה לזה שנמצא בין המשתנים במדגם הספציפי קיים גם באוכלוסייה ,או שהקשר התקבל במקרה? לתוקף המסקנה הסטטיסטית חשיבות רבה משום שקשר סטטיסטי מובהק הוא התנאי הראשון להסקה על קשר סיבתי בין משתנים. קיימים שני סוגי טעויות הפוגעות בתוקף המסקנה הסטטיסטית: טעות מסוג ראשון ,טעות ( אלפא) -הסיכוי לדחות את השערת האפס בטעות ,כשלמעשה היא נכונה. כלומר ,הסיכוי למצוא במחקר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי ,שאינו קיים במציאות. טעות מסוג שני ,טעות ( ביתא) -הסיכוי לטעות ולא לדחות את השערת האפס ,כשלמעשה היא איננה נכונה ויש לדחות אותה .כלומר ,הסיכוי לא לאתר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי ,למרות שקשר כזה קיים במציאות. איומים על תוקף המסקנה הסטטיסטית איומים הקשורים לטעות אלפא :החוקר מחליט מראש מהו גובה הסיכוי לטעות אלפא ,ומבצע את הניתוחים הסטטיסטיים תחת סיכוי זה .לרוב מדובר בסיכוי קטן מחמישה אחוזים .יש לציין ,כי למרות שגובה הסיכוי לטעות אלפא נקבע מראש ואמור להיות קבוע .במערך עם יותר משתי קבוצות ,עשוי להיווצר מצב של השוואות מרובות בין הקבוצות .ריבוי ההשוואות יוצר אפקט של - Fishingהגדלת הסיכוי לקבלת אפקט בשל מקריות כתוצאה מעריכת השוואות מרובות בין הקבוצות .מאחר וקיימות שיטות סטטיסטיות המאפשרות הימנעות מריבוי השוואות ,גם כשיש יותר משתי קבוצות ,ניתן להתמודד עם איום זה על ידי בחירה בחישובים הסטטיסטיים המתאימים למצב כזה. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org איומים הקשורים לטעות ביתא אלפא ככל שהחוקר קובע אלפא קטנה יותר הוא מגדיל את הערך הקריטי (מגדיל את היחס שיש למצוא בין השונות הבין קבוצתית לבין השונות התוך קבוצתית על מנת למצוא אפקט) וכך קטנה עוצמת המבחן .במצב זה גדל הסיכוי לפספס אפקט אם קיים ,כלומר ,גובר הסיכוי לטעות ביתא .ניתן להתמודד עם איום זה על ידי הגדלת אלפא (עד גבול מסוים -הסיכון לטעות אלפא צריך להישאר קטן יחסית) .בקביעת האלפא החוקר נדרש להתחשב בשיקולים הקשורים לשני סוגי הטעויות שנדונו :עליו להשתדל שהסיכוי שאפקט הקיים במציאות לא יתגלה בניסוי ,יישאר קטן .יחד עם זאת ,עליו להשתדל שהסיכוי שאפקט שהתגלה בניסוי במקרה ייחשב בטעות כאפקט הקיים במציאות ,לא יגדל. סוג ההשערה (חד זנבית/דו זנבית) השערה דו זנבית (כזו המניחה קיומו של אפקט ,אך אינה מניחה את כיוונו ,בשל חוסר בבסיס תיאורטי) מאלצת שימוש באלפא קטנה יותר לכל צד (מאחר והסיכוי לטעות אלפא מתחלק לשניים) .הקטנת אלפא מקטינה את עוצמת המבחן ומגדילה את הסיכוי לטעות ביתא .ניתן להתמודד עם איום זה על ידי הפיכת ההשערה לחד זנבית (כזו המניחה כיוון לקיומו של האפקט) ,אך צעד זה לגיטימי רק כאשר ישנו בסיס תיאורטי המצביע על כיוון האפקט המשוער. מרחק בין הממוצעים כאשר המניפולציה לא מספיק חזקה ,עוצמת הניסוי קטנה (ראה הרחבה בפרק על רגישות ועוצמת הניסוי) והסיכוי לטעות ביתא גדל .ניתן להתמודד עם איום זה על ידי חיזוק המניפולציה ,העשוי להגדיל את המרחק בין ממוצעי הקבוצות .לדוגמא ,אם ההשערה היא כי קפאין גורם להצלחה במבחן ,ניתן לתת לקבוצת הניסוי עשר כוסות קפה במקום אחת. גודל המדגם ככל שהמדגם קטן יותר ,שונות התפלגות הדגימה גדולה יותר ,רגישות הניסוי ועוצמת הניסוי קטנות ,והסיכוי לטעות ביתא עולה. שונות הציונים בתוך הקבוצה שונות תוך קבוצתית נובעת ,כזכור ,מהבדלים בין אישיים ומטעויות מקריות .ככל ששונות זו גדולה יותר ,קטנה הרגישות .הקטנת הרגישות מקטינה את עוצמת הניסוי ולכן גובר הסיכוי לטעות ביתא .קיימות 3דרכים אפשריות להתמודד עם איום זה ,ולהקטין את השונות התוך קבוצתית :הגברת מהימנות המדידה, סטנדרטיזציה של תנאי הניסוי (מתן אותם תנאי ניסוי לכל הנבדקים בקבוצה) וצמצום ההטרוגניות של הנבדקים בתוך כל קבוצה (למשל על ידי החזקת משתנה קבוע). התוקף הפנימי התוקף הפנימי ( )internal validityנוגע לשאלת בלבדיות המניפולציה :האם המניפולציה הניסויית ,ולא משתנים אחרים ,היא שגרמה להבדלים בין קבוצות הניסוי? במילים אחרות ,קריטריון זה אמור לוודא כי אין הסברים חלופיים להבדלים בין הקבוצות מלבד המניפולציה הניסויית .הפרכת הסברים חלופיים היא תנאי להסקה על קשר סיבתי ולכן לתוקף הפנימי חשיבות רבה .נהוג לחלק איומים על תוקף פנימי לשלוש קבוצות: איומים הקשורים למערך לפני-אחרי ללא קבוצת ביקורת ,איומים על מערך בין-קבוצתי (ללא השמה רנדומלית) ואיומים הקשורים לשוויון בין הקבוצות במהלך הניסוי. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org א .איומים על מערך לפני -אחרי ללא קבוצת ביקורת: מערך "לפני-אחרי" ( )pre - post testהוא מערך בו מתבצעת ראשית מדידה של המשתנה התלוי ,אחריה מופעלת המניפולציה ואז מתבצעת מדידה נוספת של המשתנה התלוי :מדידה לפני מניפולציה מדידה אחרי .ההשוואה היא בין תוצאות המדידות לפני ואחרי תפעול המניפולציה .באופן כללי ,ניתן לומר כי הכשל במערך זה נובע מכך שבהעדר קבוצת ביקורת ,לא ניתן לדעת האם השינויים בערכי המשתנה התלוי בקבוצת הניסוי ( בין המדידה לפני המניפולציה לבין המדידה אחרי המניפולציה) ,נובעים מהמניפולציה או מגורמים אחרים ,מתערבים. להלן פירוט האיומים ומשמעותם: היסטוריה אירועים סביבתיים ,חיצוניים למניפולציה ,המתרחשים בין המדידות ועלולים להשפיע על הנבדקים .ניתן להתמודד עם איום זה על ידי השוואה לקבוצת ביקורת -אירועים חיצוניים העלולים להשפיע על הנבדקים ישפיעו גם על קבוצת הביקורת ולכן ההבדלים בין הקבוצות לא ייוחסו להיסטוריה (אלא למניפולציה הניסויית). בשילה בשילה ( )maturationמוגדרת כשינויים פנימיים המתרחשים אצל הנבדקים ואינם קשורים למניפולציה אלא לעצם מעבר הזמן בין המדידות .מדובר בשינויים כמו התבגרות ,עייפות וכו' .השוואה לקבוצת ביקורת תעזור להתגבר על איום זה ,כיוון שסביר ששינויים פנימיים יתרחשו אצל הנבדקים בשתי הקבוצות. מכשור שינויים במכשיר המדידה או במצב הנסיין ,שהתרחשו בין שתי המדידות ,העלולים לשמש הסבר חלופי להבדלים בין הקבוצות מהווים את איום המכשור ( .)instrumentationכך למשל ,במחקר הבודק השפעת דיאטה על ירידה במשקל -אם אכן ניכרת ירידה ,ניתן להסבירה גם על ידי שינוי כלשהו במד המשקל .השוואה לקבוצת ביקורת תשלול הסבר זה ,כי השינויים ישפיעו באותה המידה על שתי הקבוצות. מדידה עצם המדידה ( )testingהראשונה עלול לשנות את הנבדק ובכך להשפיע על תוצאות המדידה השנייה ,ללא קשר לתפעול המניפולציה .למשל :שאלון עמדות שיינתן לנבדקים לפני שישמעו הרצאה על נושא מסוים ,עשוי לגרום לנבדקים לחשוב באופן מעמיק יותר על הנושא .בשימוש בקבוצת ביקורת שתי הקבוצות יושפעו מהמדידה באותו האופן ,והאיום יוסר. ההבדל בין איום מכשור ואיום מדידה :באיום מכשור השינוי הוא במכשיר המודד או בנסיין .באיום מדידה, לעומת זאת ,השינוי הוא בנבדק עצמו (כתוצאה מהמדידה). רגרסיה לממוצע כאשר נבחרים נבדקים שציוניהם במדידה המוקדמת קיצוניים -נמוכים או גבוהים מאוד ,קיים סיכוי לרגרסיה לממוצע ( ,)statistical regressionשהיא רגרסיה של ציונים אלה לכיוון הממוצע במדידה השנייה .ציונים קיצוניים נפוצים פחות ולכן סביר פחות להניח כי יחזרו על עצמם גם במדידה השנייה .למשל ,רוב הסיכויים שנבדק שקיבל 100במבחן ,יצליח פחות במבחן הבא .ניתן לפתור את הבעיה ע"י - matchingהוספת קבוצת ביקורת שבה אותו מספר של נבדקים בעלי ציונים קיצוניים ,כמו בקבוצת הניסוי. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org ב .איומים על מערך בין-קבוצתי ללא השמה רנדומלית מערך בין קבוצתי הוא מערך המתבסס על השוואה בין קבוצת הניסוי לקבוצה או קבוצות אחרות .מערך זה משתמש בקבוצת ביקורת אך ללא השמה רנדומלית של הנבדקים .גם מערך כזה ,המשתמש בקבוצת ביקורת מאוים מבחינת תוקף פנימי .איומים על מערך זה: ברירה ברירה ( )selectionהיא מצב בו ניתן לייחס את האפקט שנתגלה בניסוי למאפייני הנבדקים ולא למניפולציה, עקב הבדל שיטתי במאפייני הנבדקים בין קבוצת הניסוי והביקורת .אם ,למשל ,כל הנבדקים בקבוצת הניסוי הם מכיתת המחוננים ,וכל הנבדקים בקבוצת הביקורת הם תלמידי כיתה רגילה ,אזי הרכב הקבוצות ולא המניפולציה יגרום להבדלי ההישגים בין הקבוצות .השמה רנדומלית לקבוצות השונות יוצרת שוויון הסתברותי ביניהן על ידי מתן סיכוי שווה לכל נבדק להשתתף בכל אחד מתנאיי הניסוי .רק כך לא ניתן יהיה לייחס את האפקט להבדל שיטתי בין הקבוצות. נשירה נשירה ( )mortalityהיא עזיבת נבדקים את הניסוי לפני סיומו .הנשירה עלולה להשפיע על תוצאותיו של הניסוי. יש להבדיל בין נשירה מקרית לנשירה דיפרנציאלית .נשירה דיפרנציאלית היא נשירה לא מקרית של נבדקים. כלומר ,נבדקים נושרים מקבוצה ספציפית יותר מאשר מקבוצות אחרות .נשירה מקרית היא מצב בו באופן מקרי לחלוטין נושרות כמויות נבדקים שונות מכל אחת מהקבוצות .נשירה דיפרנציאלית עשויה לנבוע מאינטראקציה עם ברירה ,ולכן השמה רנדומלית תסייע במקרה זה .עם זאת ,במידה והנשירה נובעת מאינטראקציה עם הטיפול (למשל -במחקר על דיאטה ,נבדקים שירדו במשקל כבר לא מרגישים צורך בדיאטה ונושרים מהניסוי) ,השמה רנדומלית לא תסייע. אינטראקציות עם ברירה אינטראקציות עם ברירה ( )statistical interaction with selectionהן שילוב של כל אחד מהאיומים עד כה עם ברירה ,כלומר ,עם הבדל שיטתי כלשהו בין הקבוצות .הבדל שיטתי בין הקבוצות עשוי לגרום לכך שהאיום ישפיע באופן שונה על הקבוצות ,ויהווה הסבר אלטרנטיבי להבדלים בין הקבוצות במשתנה התלוי .למשל: בשילוב של היסטוריה עם ברירה ,אירועים מרגשים ,שאינם המשתנה הבלתי תלוי ,עשויים להשפיע בצורה שונה על קבוצות המורכבות מאנשים עם או בלי דיכאון. אפשר להתמודד עם איומים אלה על ידי השמה רנדומלית לקבוצות השונות. ג .איומים על שוויון בין קבוצות לאחר השמה רנדומלית אפשר להתמודד עם שמונת האיומים העיקריים על התוקף הפנימי על ידי הוספת קבוצת ביקורת והשמה רנדומלית לקבוצות .עם זאת ,גם לאחר שנוצר שוויון התחלתי בין הקבוצות ,קיימים חמישה איומים נוספים, פחות משמעותיים ,על התוקף הפנימי. להלן פירוט האיומים על שוייון בין קבוצות לאחר השמה רנדומלית ,ומשמעותם: דה מורליזציה -התמרמרות נבדקי קבוצת הביקורת התמרמרות בקרב נבדקי קבוצת הביקורת ( ,)resentful demoralization of control group subjectsאשר אינם מקבלים את תנאי המניפולציה ,ולכן עלולים לחוש מקופחים .תחושת קיפוח זו עשויה להשפיע על תוצאות הניסוי .מניעת מעבר מידע בין הקבוצות ,ו /או מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים עשויה למנוע התמרמרות זו. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org דיפוזיה של מידע דיפוזיה של מידע ( )diffusion of treatment to the control groupהיא דליפת מידע בין הקבוצות ,העלולה להרוס את השפעת המניפולציה .אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין הקבוצות. היסטוריה מקומית אירוע המתקיים באופן ייחודי באחת הקבוצות ועלול להשפיע השפעה מהותית על תוצאות הניסוי" .הרצת הניסוי" במקביל ובתנאים דומים ככל האפשר בשתי הקבוצות (דיסגרגציה) תעזור להתגבר על איום זה. ההבדל בין איום ההיסטוריה (שהוזכר בחלק הקודם) לבין איום ההיסטוריה המקומית ( :)local historyאיום ההיסטוריה מתייחס לאירוע חיצוני שקרה לכל הנבדקים בכל הקבוצות בין שתי המדידות .אם אירוע זה השפיע באופן שונה על הקבוצות השונות עקב הבדל שיטתי במאפייני הנבדקים בקבוצות ,האיום יכונה אינטראקציה של היסטוריה וברירה .לעומת זאת איום ההיסטוריה המקומית ,מתייחס לאירוע שקרה רק לנבדקים בקבוצה מסוימת. השוואה מפצה מצב בו המניפולציה מניבה רווח כלשהו לנבדקים ולכן נבדקי קבוצת הביקורת או גוף חיצוני דורשים פיצוי של קבוצת הביקורת .מתן פיצוי לקבוצת הביקורת ,או השוואה מפצה ( compensating equalization of ,)treatmentיוצר דיפרנציאציה בין הקבוצות ,שאין מקורה במשתנה הבלתי תלוי .אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין הקבוצות ,ו/או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים. תחרות מפצה מצב בו הקבוצה ה"מקופחת" משקיעה מאמץ על מנת שלא תושג העליונות הצפויה של הקבוצה השנייה הוא מצב של תחרות מפצה ( .)compensatory rivalryאפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין הקבוצות ,ו /או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים. תוקף המבנה תוקף המבנה ( )construct validityמתייחס לקשר בין המשתנים התצפיתיים והמשתנים התיאורטיים :האם ההגדרות האופרציונליות של המשתנה התלוי והבלתי תלוי אכן מייצגות את המונחים התיאורטיים אותם התכוון החוקר לבדוק? היבטים של תוקף מבנה תוקף המבנה מתייחס לשאלת ההלימה בין ההגדרה האופרציונלית למונח התיאורטי ,על שני היבטיה -מיצוי ובלבדיות .בעיה בכל אחד מהיבטים אלה תשפיע על תוקף המבנה. מיצוי מיצוי :הגדרה אופרציונלית נחשבת ממצה אם היא כוללת את כל המרכיבים של המונח התיאורטי הנחקר. כשיש בעיה של חוסר מיצוי אפשר להוסיף מדדים אופרציונליים הבודקים מרכיבים אחרים של אותו מונח תיאורטי .ככל שיש יותר הגדרות אופרציונליות וכולן מניבות את אותן המסקנות ,מתחזק תוקף המבנה .עם זאת ,קשה להגיע להגדרה אופרציונלית אחת ממצה לחלוטין ,משום שמונחים תיאורטיים הם לרוב מורכבים ועשירים .לדוגמא ,המשתנה התיאורטי "אינטליגנציה" יכול לקבל מספר הגדרות אופרציונליות :מבחני כושר ביצוע ,מבחני יכולות מתמטיות ,מבחני יכולות מילוליות ,וכד' .מדידה של יכולת מילולית בלבד ,למשל ,לא תמצה את המשתנה התיאורטי ממנו נגזרה ההגדרה האופרציונלית. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org בלבדיות בלבדיות :הגדרה אופרציונלית נחשבת בלבדית אם היא כוללת רק מרכיבים השייכים למונח התיאורטי הנחקר, ואינה כוללת מרכיבים שאינם שייכים למונח זה .בעיה של חוסר בלבדיות חמורה יותר מבעיה של חוסר מיצוי, משום שייתכן כי המניפולציה השפיעה בגלל היבט של ההגדרה האופרציונלית שאינו קשור למונח התיאורטי. לדוגמא :מדידת המשתנה התיאורטי "אינטליגנציה" על ידי מבחני יכולת מילולית ,עשויה לערב משתנה נוסף: הבנת שפה. איומים על תוקף המבנה קיימים מספר גורמים הפוגעים במיצוי ו /או בבלבדיות ומאיימים על תוקף המבנה: משתנה מוצמד משתנה מוצמד (( (Confoundingנקרא בעברית גם בלבול ,ערבוב) הוא מצב בו היבט של המשתנה הבלתי תלוי האופרציונלי ,אחר מזה שרצה החוקר לתפעל ,מוצמד למשתנה הבלתי תלוי .במצב זה ,השפעה על המשתנה התלוי לא יכולה להיות מיוחסת בביטחון למשתנה הבלתי תלוי שרצה החוקר לתפעל .לדוגמא ,חוקר בוחר לתפעל שמח ה בניסוי באמצעות בדיחות משעשעות המסופרות לנבדקים במהלך ההפסקה בין השיעורים. אפקט השמחה ,במידה וימצא ,עשוי להיות מיוחס להשפעתה של ההפסקה ולאו דווקא לתוכן הבדיחות. חוסר בהירות המשתנה התיאורטי קיימים מונחים תיאורטיים הנתונים לפרשנות שונה על ידי חוקרים שונים .פרשנות שונה מובילה להגדרות אופרציונליות שונות לאותו מונח תיאורטי .העדר הסכמה בין חוקרים בנושא זה עלול להוליד פירושים שונים לתוצאות הניסויים .כך חוסר בהירות של המשתנה התיאורטי ()inadequate explication of constructs עשוי לפגום במיצוי ובבלבדיות ההגדרות האופרציונליות הנגזרות ממנו. בעיית הלימה לעיתים אין חפיפה מספקת בין המשתנה התיאורטי והגדרתו התצפיתית (האופרציונלית) .העדר התאמה בין המונח התיאורטי והמשתנה התצפיתי מאיים על תוקף המבנה של הניסוי .העדר התאמה יכול לפגום במיצוי (אם ההגדרה האופרציונלית כוללת רק חלק ממרכיבי המונח התיאורטי) או בבלבדיות (אם ההגדרה האופרציונלית כוללת גם מרכיבים שאינם קשורים למונח התיאורטי). איומים הקשורים בנסיין ובנבדק שני האיומים הראשונים ,שהוזכרו לעיל ,קשורים אך ורק בתוקף המבנה ,כלומר ,בקשר בין המשתנים התיאורטיים והתצפיתיים .שלושת האיומים הבאים שנויים במחלוקת .יש המייחסים אותם לאיום על תוקף המבנה ויש המייחסים אותם לאיום על התוקף הפנימי: .1ציפיות הנסיין -הנסיין מודע פעמים רבות להשערות הניסוי ,דבר העשוי להתבטא בהתנהגותו באופן מודע או בלתי מודע ולהשפיע על תוצאות הניסוי. .2מאפייני מצב הניסויי ( )Demand characteristicsמאפייני ניסוי הרומזים לנבדק על מטרת הניסוי ועשויים לסייע לו לגלות אותה ולהתנהג בהתאם לה. .3רצייה חברתית -שאיפת הנבדקים לזכות בהערכת הנסיין משנה את התנהגותם. בכל המקרים הללו הנבדקים פועלים בעקבות המניפולציה אך לא תוכן המניפולציה הוא שהשפיע עליהם ,אלא תחושותיהם והבנתם ביחס למה שמצפים מהם .אם מתייחסים אל גורמים אלה כאל היבט של המניפולציה שאינו קשור למשתנה התיאורטי ,ניתן להתייחס אל איומים אלה כאיומים על תוקף המבנה (פגיעה בבלבדיות). עם זאת ,ניתן באותה המידה להתייחס אל איומים אלה כאל איומים על התוקף הפנימי -ייתכן והמניפולציה לא פעלה וגורמים אחרים ,שהם חיצוניים לה ,גרמו לאפקט. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org התוקף החיצוני איומים על התוקף החיצוני אינטראקציה בין מדידה לטיפול קיימת בעיה של הכללת ממצאים ממצב בו המניפולציה הופעלה לאחר מדידה מוקדמת (מערך לפני אחרי), למצבים בהם המניפולציה תופעלה ללא מדידה מוקדמת .כאשר המניפולציה תופעלה לאחר המדידה המוקדמת קיימת סכנה לאינטראקציה בין מדידה וטיפול ( .)interaction of testing and treatmentניתן להתמודד עם איום זה על ידי השוואת הממצאים שהתקבלו במערך לפני אחרי לממצאים מקבוצה בה לא בוצעה המדידה המוקדמת ,רק המניפולציה. ההבדל בין איום זה ,לאיום של מדידה על התוקף הפנימי (שהוזכר קודם) :באיום של מדידה על התוקף הפנימי, יש חשד כי המניפולציה לא עבדה כלל ,ורק המדידה המוקדמת גרמה לתוצאות .באיום של אינטראקציה בין טיפול ומדידה על התוקף החיצוני ,המניפולציה השפיעה ,אך ייתכן שהשפעתה תלויה בשילוב עם המדידה המוקדמת. בעיות של דגימה /אינטראקציה בין המניפולציה לאוכלוסייה בעיות דגימה /אינטראקציה בין המניפולציה לאוכלוסייה ( )interaction of selection and treatmentהן בעיות המתייחסות למצב בו המדגם אינו מקרי או אינו מייצג את האוכלוסייה ממנה הוא נלקח ולכן לא ניתן להכליל ממנו אל האוכלוסייה הרצויה .ניתן להתמודד עם איום זה על ידי דגימה רנדומלית ומייצגת של האוכלוסייה ,או על ידי הפיכת סוג המדגם למשתנה שיטתי :על ידי חזרה על הניסוי עם מדגם אחר כל פעם. בעיות של זמן ומקום ( אינטראקציה בין המניפולציה למועד או לסביבת הניסוי) בעיות של זמן ומקום /אינטראקציה בין המניפולציה למועד או לסביבת הניסוי ( interaction of setting or )history and treatmentהן בעיות בהכללת הממצאים מעבר לזמן או למקום הספציפיים בהם נערך הניסוי. ייתכן שהמני פולציה השפיעה בשל ההקשר המסוים של הניסוי ,ולא תשפיע בזמן או מקום אחרים .אפשר להתמודד עם איום זה על ידי חזרה על הניסוי בתנאים שונים (ווריאציות שיטתיות) .מושג רלוונטי למצב זה הוא תוקף אקולוגי ,המתייחס לסוגיית היכולת המוגבלת להכליל ממצאי ניסוי שהתקבלו במעבדה לשטח ,לעולם האמיתי .ניתן לנסות לפתור איום זה על ידי הפיכת הסביבה המעבדתית לדומה ככל האפשר למציאות ( ,)experimental realismלמשל על ידי שימוש בתפאורה. הקשר בין התקפים השונים של ממצאי הניסוי לא ניתן להתמודד עם ארבעת סוגי תוקף ממצאי הניסוי בו זמנית .ביסוס תו קף מסוג אחד עלול לאיים על תוקף מסוג אחר .הגברת תוקף המסקנה הסטטיסטית על ידי החזקת משתנה קבוע ,למשל ,פוגעת בתוקף החיצוני משום שנפגעת יכולת ההכללה לרמות שונות של המשתנה שהוחזק קבוע .ההחלטה לגבי סדר העדיפויות בין סוגי התוקף תלויה באופי ומטרות המחקר ,אך באופן עקרוני ,על התוקף הפנימי להיות תמיד הראשון בסדר העדיפויות .קל יחסית להקפיד על תוקף זה על ידי תכנון הולם של ניסוי במעבדה. פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם www.pitronot.org
© Copyright 2024