‫תוקף ממצאי הניסוי‬ ‫ניתן לשאול ארבע שאלות הנוגעות לטיב הניסוי ולטיב ממצאיו‪:‬‬ ‫‪ .1‬האם הקשר הסטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬ברמה התצפיתית‪ ,‬הוא אכן מובהק‪ ,‬או‬ ‫שהתקבל במקרה?‬ ‫‪ .2‬האם הקשר הסטטיסטי בין המשתנים ברמה התצפיתית אכן מעיד על קשר סיבתי ברמה התצפיתית?‬ ‫‪.3‬‬ ‫האם הקשר שהתגלה ברמה התצפיתית מעיד על קשר בין המשתנה הבלתי תלוי למשתנה התלוי ברמה‬ ‫התיאורטית?‬ ‫‪.4‬‬ ‫באיזו מידה ניתן להכליל את הקשר שנמצא במדגם לאוכלוסיות ולמצבים אחרים?‬ ‫כל אחת מהשאלות מגדירה קריטריון לבחינת טיב הניסוי וממצאיו‪ ,‬כלומר‪ ,‬כל אחת מהשאלות מתייחסת להיבט‬ ‫אחר של תוקף ממצאי הניסוי‪ :‬תוקף המסקנה הסטטיסטית נוגע לשאלה הראשונה‪ ,‬התוקף הפנימי לשנייה‪,‬‬ ‫תוקף המבנה לשלישית והתוקף החיצוני לשאלה האחרונה‪ .‬ארבעת סוגי התוקף הם הקריטריונים להערכת‬ ‫מחקר‪ ,‬והם מנחים את החוקר כבר בשלב תכנון המחקר‪ .‬תוקף המסקנה הסטטיסטית נוגע ליכולת להסיק לגבי‬ ‫מובהקות קיומו של הקשר שהתקבל בניסוי ‪ -‬האם הקשר התקבל במקרה‪ .‬התוקף הפנימי נוגע ליכולת להסיק‬ ‫לגבי אופי הקשר בין המשתנים בניסוי ‪ -‬האם הקשר סיבתי‪ .‬שני התקפים הבאים‪ ,‬תוקף המבנה והתוקף‬ ‫החיצוני מתייחסים ליכולת להכליל את ממצאי המחקר מעבר להקשר הספציפי בו נעשה המחקר ‪ -‬תוקף‬ ‫המבנה קשור ליכולת הכללה של הקשר מהרמה האופרציונלית לרמה התיאורטית והתוקף החיצוני מתייחס‬ ‫להכללה של הקשר מעבר לזמן ומקום‪.‬‬ ‫תוקף המסקנה הסטטיסטית‬ ‫תוקף המסקנה הסטטיסטית (‪ )conclusion validity‬מתייחס לשאלה‪ :‬האם הקשר הסטטיסטי שנמצא בין‬ ‫המשתנים מובהק? האם סביר להניח כי קשר דומה לזה שנמצא בין המשתנים במדגם הספציפי קיים גם‬ ‫באוכלוסייה‪ ,‬או שהקשר התקבל במקרה? (להסבר על מובהקות ולהרחבה על נושאים נוספים הקשורים‬ ‫להסקה סטטיסטית ראה פרק 'תהליך בדיקת השערות' בסטטיסטיקה)‪.‬‬ ‫לתוקף המסקנה הסטטיסטית חשיבות רבה משום שקשר סטטיסטי מובהק הוא התנאי הראשון להסקה על‬ ‫קשר סיבתי בין משתנים‪.‬‬ ‫טעויות הפוגעות בתוקף המסקנה הסטטיסטית‬ ‫קיימים שני סוגי טעויות הפוגעות בתוקף המסקנה הסטטיסטית‪:‬‬ ‫‪ .1‬טעות מסוג ראשון‪ ,‬טעות ‪( ‬אלפא) ‪ -‬הסיכוי לדחות את השערת האפס בטעות‪ ,‬כשלמעשה היא נכונה‪.‬‬ ‫כלומר‪ ,‬הסיכוי למצוא במחקר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬שאינו קיים במציאות‪.‬‬ ‫במצב זה הקשר התקבל במקרה‪ ,‬ולכן דחיית השערת האפס (שמשמעותה אישוש השערת החוקר בדבר‬ ‫קיומו של קשר דומה באוכלוסיה) תהיה שגויה‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫החוקר מחליט מראש מהו גובה הסיכוי לטעות אלפא‪ ,‬ומבצע את הניתוחים הסטטיסטיים תחת סיכוי זה‪ .‬לרוב‬ ‫מדובר בסיכוי קטן מחמישה אחוזים‪ .‬יש לציין‪ ,‬כי למרות שגובה הסיכוי לטעות אלפא נקבע מראש ואמור להיות‬ ‫קבוע‪ ,‬סיכוי זה עלול להשתנות עקב צעדים מסוימים הנערכים במחקר (הנושא מפורט בפרק 'תהליך בדיקת‬ ‫השערות' בסטטיסטיקה)‪.‬‬ ‫‪ .2‬טעות מסוג שני‪ ,‬טעות ‪( ‬ביתא)‪ :‬הסיכוי לטעות ולא לדחות את השערת האפס‪ ,‬כשלמעשה היא איננה‬ ‫נכונה ויש לדחות אותה‪ .‬כלומר‪ ,‬הסיכוי לא לאתר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬למרות‬ ‫שקשר כזה קיים במציאות‪ .‬במקרה זה‪ ,‬ההחלטה לא לדחות את השערת האפס (ובכך לא לאשש את‬ ‫השערת החוקר בדבר קיומו של קשר דומה באוכלוסיה) היא טעות‪.‬‬ ‫החוקר לא יכול להחליט מראש מה הסיכוי לטעות ביתא‪ ,‬אך צעדים מסוימים שננקטים על ידו‬ ‫משפיעים על גובה סיכוי זה‪ .‬כזכור‪ ,‬עוצמת הניסוי היא הסיכוי למצוא אפקט אם הוא קיים‪ .‬טעות ביתא‬ ‫משמעה "פספוס" של האפקט ולכן עוצמה קטנה מגדילה את הסיכוי לטעות ביתא‪ .‬למעשה‪ ,‬עוצמת המבחן‬ ‫מוגדרת כ‪ 1 -‬מינוס ביתא‪ ,‬וביתא מוגדרת כאחד מינוס עוצמת המבחן‪ .‬יש לזכור כי גם הקטנת רגישות‬ ‫מקטינה עוצמה (כמפורט בחלק הקודם)‪ ,‬ולכן גם הקטנת רגישות מובילה בסופו של דבר להגברת הסיכוי‬ ‫לטעות ביתא‪.‬‬ ‫איומים על תוקף המסקנה הסטטיסטית‬ ‫כאמור‪ ,‬תוקף המסקנה הסטטיסטית מאוים על ידי גורמים המשפיעים על הסיכוי לטעות אלפא ועל ידי גורמים‬ ‫המשפיעים על הסיכוי לטעות ביתא‪ .‬באופן כללי‪ ,‬הגורמים המשפיעים על הסיכוי לטעות ביתא הם רבים יותר‪,‬‬ ‫ופחות נתונים לשליטת החוקר‪ .‬הסיכוי לטעות אלפא נקבע על ידי החוקר‪ ,‬וקיים עליו רק איום אחד‪ ,‬הנובע‬ ‫מרשלנות החוקר‪.‬להלן פירוט הגורמים המשפיעים על הסיכוי לטעויות ביתא ואלפא‪:‬‬ ‫גורמים המשפיעים על הסיכוי לטעות ביתא‬ ‫תנאים מסוימים בניסוי‪ ,‬כמו גודל המדגם או מאפייני המשתנים‪ ,‬עשויים להשפיע על תוקף המסקנה‬ ‫הסטטיסטית‪ .‬תנאים מסוימים מגדילים את הסיכוי לטעות ביתא ובכך מקטינים את הסיכוי למצוא אפקט‪ ,‬אם‬ ‫קיים‪ .‬הסיכוי לטעות טעות ביתא קיים תמיד‪ .‬עם זאת‪ ,‬תכנון נכון של המחקר יכול להקטין סיכוי זה‪.‬‬ ‫ככלל‪ ,‬הקטנת רגישות הניסוי והקטנת עוצמת הניסוי מגבירות את הסיכוי לטעות מסוג ביתא‪.‬‬ ‫אלפא‬ ‫ככל שהחוקר קובע אלפא קטנה יותר הוא מגדיל את הערך הקריטי (מגדיל את היחס שיש למצוא בין השונות‬ ‫הבין קבוצתית לבין השונות התוך קבוצתית על מנת למצוא אפקט) וכך קטנה עוצמת המבחן‪ .‬במצב זה גדל‬ ‫הסיכוי לפספס אפקט אם קיים‪ ,‬כלומר‪ ,‬גובר הסיכוי לטעות ביתא‪ .‬ניתן להתמודד עם איום זה על ידי הגדלת‬ ‫אלפא (עד גבול מסוים ‪ -‬הסיכון לטעות אלפא צריך להישאר קטן יחסית)‪ .‬בקביעת האלפא החוקר נדרש‬ ‫להתחשב בשיקולים הקשורים לשני סוגי הטעויות שנדונו‪ :‬עליו להשתדל שהסיכוי שאפקט הקיים במציאות לא‬ ‫יתגלה בניסוי‪ ,‬יישאר קטן‪ .‬יחד עם זאת‪ ,‬עליו להשתדל שהסיכוי שאפקט שהתגלה בניסוי במקרה ייחשב בטעות‬ ‫כאפקט הקיים במציאות‪ ,‬לא יגדל‪ .‬קביעת האלפא מושפעת גם משיקולים ספציפיים של החוקר‪ ,‬למשל‪:‬‬ ‫כשל''פספוס" אפקט יש משמעות חמורה (כמו בגילוי גידול ממאיר‪ ,‬למשל) החוקר ישתדל להקטין את מספר‬ ‫הטעויות מסוג ביתא‪ ,‬גם על חשבון טעויות מסוג אלפא‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫סוג ההשערה (חד זנבית‪/‬דו זנבית)‬ ‫השערה דו זנבית (כזו המניחה קיומו של אפקט‪ ,‬אך אינה מניחה את כיוונו‪ ,‬בשל חוסר בבסיס תיאורטי) מאלצת‬ ‫שימוש באלפא קטנה יותר לכל צד (מאחר והסיכוי לטעות אלפא מתחלק לשניים)‪ .‬הקטנת אלפא מקטינה את‬ ‫עוצמת המבחן ומגדילה את הסיכוי לטעות ביתא‪ .‬ניתן להתמודד עם איום זה על ידי הפיכת ההשערה לחד‬ ‫זנבית (כזו המניחה כיוון לקיומו של האפקט)‪ ,‬אך צעד זה לגיטימי רק כאשר ישנו בסיס תיאורטי המצביע על‬ ‫כיוון האפקט המשוער‪.‬‬ ‫מרחק בין הממוצעים‬ ‫כאשר המניפולציה לא מספיק חזקה‪ ,‬עוצמת הניסוי קטנה (כפי שפורט בחלק על רגישות ועוצמת הניסוי)‬ ‫והסיכוי לטעות ביתא גדל‪ .‬ניתן להתמודד עם איום זה על ידי חיזוק המניפולציה‪ ,‬העשוי להגדיל את המרחק בין‬ ‫ממוצעי הקבוצות‪ .‬לדוגמא‪ ,‬אם ההשערה היא כי קפאין גורם להצלחה במבחן‪ ,‬ניתן לתת לקבוצת הניסוי עשר‬ ‫כוסות קפה במקום אחת‪.‬‬ ‫גודל המדגם‬ ‫ככל שהמדגם קטן יותר‪ ,‬שונות התפלגות הדגימה גדולה יותר‪ ,‬רגישות הניסוי ועוצמת הניסוי קטנות‪ ,‬והסיכוי‬ ‫לטעות ביתא עולה‪( .‬כזכור‪ ,‬ביתא שווה לאחד פחות עוצמת המבחן)‪ .‬ניתן להתמודד עם איום זה על ידי הגדלת‬ ‫המדגם‪ ,‬שתקטין את הסיכוי לטעות ביתא‪.‬‬ ‫שונות הציונים בתוך הקבוצה‬ ‫שונות תוך קבוצתית נובעת‪ ,‬כזכור‪ ,‬מהבדלים בין אישיים ומטעויות מקריות‪ .‬ככל ששונות זו גדולה יותר‪ ,‬קטנה‬ ‫הרגישות‪ .‬הקטנת הרגישות מקטינה את עוצמת הניסוי ולכן גובר הסיכוי לטעות ביתא‪ .‬קיימות ‪ 3‬דרכים‬ ‫אפשריות להתמודד עם איום זה‪ ,‬ולהקטין את השונות התוך קבוצתית‪ :‬הגברת מהימנות המדידה‪,‬‬ ‫סטנדרטיזציה של תנאי הניסוי (מתן אותם תנאי ניסוי לכל הנבדקים בקבוצה) וצמצום ההטרוגניות של הנבדקים‬ ‫בתוך כל קבוצה (למשל על ידי החזקת משתנה קבוע)‪.‬‬ ‫גורמים המשפיעים על הסיכוי לטעות אלפא‬ ‫גודל האלפא נקבע מראש על ידי החוקר‪ .‬עם זאת‪ ,‬שימוש בהשוואות מרובות כתוצאה מרשלנות החוקר עלול‬ ‫להשפיע על טעות אלפא‪ .‬ניתן למנוע השפעה זו על ידי תכנון נכון‪.‬‬ ‫השוואות מרובות‬ ‫במערך עם יותר משתי קבוצות‪ ,‬עשוי להיווצר מצב של השוואות מרובות בין הקבוצות‪ .‬ריבוי ההשוואות יוצר‬ ‫אפקט של ‪ - Fishing‬הגדלת הסיכוי לקבלת אפקט בשל מקריות כתוצאה מעריכת השוואות מרובות בין‬ ‫הקבוצות‪ .‬בעיה זו נקראת גם בעיית מקדם הטעות (‪ .)error rate‬בעיה זו מגדילה את הסיכוי לטעות טעות‬ ‫אלפא והיא תלויה במספר ההשוואות ‪ -‬ככל שגדל מס' ההשוואות גדל הסיכון לטעות אלפא‪.‬‬ ‫מאחר ו קיימות שיטות סטטיסטיות המאפשרות הימנעות מריבוי השוואות‪ ,‬גם כשיש יותר משתי קבוצות‪ ,‬ניתן‬ ‫להתמודד עם איום זה על ידי בחירה בחישובים הסטטיסטיים המתאימים למצב כזה‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫התוקף הפנימי‬ ‫התוקף הפנימי (‪ )internal validity‬נוגע לשאלת בלבדיות המניפולציה‪ :‬האם המניפולציה הניסויית‪ ,‬ולא‬ ‫משתנים אחרים‪ ,‬היא שגרמה להבדלים בין קבוצות הניסוי? במילים אחרות‪ ,‬קריטריון זה אמור לוודא כי אין‬ ‫הסברים חלופיים להבדלים בין הקבוצות מלבד המניפולציה הניסויית‪ .‬הפרכת הסברים חלופיים היא תנאי‬ ‫להסקה על קשר סיבתי ולכן לתוקף הפנימי חשיבות רבה‪ .‬אפקט שהתקבל כתוצאה מהשפעת גורם חיצוני‪,‬‬ ‫שאינו קשור למניפולציה‪ ,‬נקרא ארטיפקט (‪ .)artifact‬את הגורם החיצוני שהשפיע נהוג לכנות גורם מתערב‪.‬‬ ‫כל גורם חיצוני העשוי להשפיע על תוצאות הניסוי יהווה איום על התוקף הפנימי וייקרא‪ ,‬כאמור‪ ,‬ארטיפקט‪ .‬לכן‪,‬‬ ‫קיים מספר גדול יחסית של איומים על התוקף הפנימי‪ .‬נהוג לחלק איומים אלה לשלוש קבוצות‪ :‬איומים‬ ‫הקשורים למערך לפני‪-‬אחרי ללא קבוצת ביקורת‪ ,‬איומים על מערך בין‪-‬קבוצתי (ללא השמה רנדומלית) ואיומים‬ ‫הקשורים לשוויון בין הקבוצות במהלך הניסוי‪.‬‬ ‫איומים על התוקף הפנימי‬ ‫א‪ .‬איומים על מערך לפני ‪ -‬אחרי ללא קבוצת ביקורת‬ ‫מערך "לפני‪-‬אחרי" (‪ )pre - post test‬הוא מערך בו מתבצעת ראשית מדידה של המשתנה התלוי‪ ,‬אחריה‬ ‫מופעלת המניפולציה ואז מתבצעת מדידה נוספת של המשתנה התלוי‪ :‬מדידה לפני ‪ ‬מניפולציה ‪ ‬מדידה‬ ‫אחרי‪ .‬ההשוואה היא בין תוצאות המדידות לפני ואחרי תפעול המניפולציה‪ .‬באופן כללי‪ ,‬ניתן לומר כי הכשל‬ ‫במערך זה נובע מכך שבהעדר קבוצת ביקורת‪ ,‬לא ניתן לדעת האם השינויים בערכי המשתנה התלוי בקבוצת‬ ‫הניסוי ( בין המדידה לפני המניפולציה לבין המדידה אחרי המניפולציה)‪ ,‬נובעים מהמניפולציה או מגורמים‬ ‫אחרים‪ ,‬מתערבים‪.‬‬ ‫גורמים מתערבים אלה מתחלקים לחמישה סוגים‪ :‬היסטוריה‪ ,‬בשילה‪ ,‬מכשור‪ ,‬מדידה ורגרסיה לממוצע‪ .‬עם‬ ‫כולם ניתן להתמודד על ידי הוספת קבוצת ביקורת מתאימה‪.‬‬ ‫להלן פירוט האיומים ומשמעותם‪:‬‬ ‫היסטוריה‬ ‫אירועים סביבתיים‪ ,‬חיצוניים למניפולציה‪ ,‬ה מתרחשים בין המדידות ועלולים להשפיע על הנבדקים‪.‬‬ ‫ניתן להתמודד עם איום זה על ידי השוואה לקבוצת ביקורת ‪ -‬אירועים חיצוניים העלולים להשפיע על הנבדקים‬ ‫ישפיעו גם על קבוצת הביקורת ולכן ההבדלים בין הקבוצות לא ייוחסו להיסטוריה (אלא למניפולציה הניסויית)‪.‬‬ ‫בשילה‬ ‫בשילה (‪ )maturation‬מוגדרת כ שינויים פנימיים המתרחשים אצל הנבדקים ואינם קשורים למניפולציה אלא‬ ‫לעצם מעבר הזמן בין המדידות‪ .‬מדובר בשינויים כמו התבגרות‪ ,‬עייפות וכו'‪ .‬השוואה לקבוצת ביקורת תעזור‬ ‫להתגבר על איום זה‪ ,‬כיוון שסביר ששינויים פנימיים יתרחשו אצל הנבדקים בשתי הקבוצות‪ .‬דוגמא לבשילה‬ ‫ניתן לראות בהחלמה ספונטנית‪ :‬חולי דיכאון‪ ,‬למשל‪ ,‬מחלימים לעיתים באופן ספונטני‪ ,‬רק מעצם מעבר הזמן‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫במחקר על טיפול כלשהו בדיכאון קשה לדעת האם ההחלמה היא הודות לטיפול או לאור החלמה ספונטנית‪,‬‬ ‫אלא אם נוספת קבוצת ביקורת‪.‬‬ ‫מכשור‬ ‫שינויים במכשיר המדידה או במצב הנסיין‪ ,‬שהתרחשו בין שתי המדידות‪ ,‬העלולים לשמש הסבר חלופי‬ ‫להבדלים בין הקבוצות מהווים את איום המכשור (‪ .)instrumentation‬כך למשל‪ ,‬במחקר הבודק השפעת‬ ‫דיאטה על ירידה במשקל‪ -‬אם אכן ניכרת ירידה‪ ,‬ניתן להסבירה גם על ידי שינוי כלשהו במד המשקל‪ .‬השוואה‬ ‫לקבוצת ביקורת תשלול הסבר זה‪ ,‬כי השינויים ישפיעו באותה המידה על שתי הקבוצות‪.‬‬ ‫מדידה‬ ‫עצם המדידה (‪ )testing‬הראשונה עלול לשנות את הנבדק ובכך להשפיע על תוצאות המדידה השנייה‪ ,‬ללא‬ ‫קשר לתפעול המניפולציה‪ .‬למשל‪ :‬שאלון עמדות שיינתן לנבדקים לפני שישמעו הרצאה על נושא מסוים‪ ,‬עשוי‬ ‫לגרום לנבדקים לחשוב באופן מעמיק יותר על הנושא‪ .‬כך‪ ,‬ללא קשר להרצאה‪ ,‬דעותיהם עשויות להשתנות‬ ‫בשאלון שימלאו לאחר ההרצאה‪ .‬בשימוש בקבוצת ביקורת שתי הקבוצות יושפעו מהמדידה באותו האופן‪,‬‬ ‫והאיום יוסר‪.‬‬ ‫ההבדל בין איום מכשור ואיום מדידה‪ :‬באיום מכשור השינוי הוא במכשיר המודד או בנסיין‪ .‬באיום מדידה‪,‬‬ ‫לעומת זאת‪ ,‬השינוי הוא בנבדק עצמו (כתוצאה מהמדידה)‪.‬‬ ‫רגרסיה (תסוגה) לממוצע‬ ‫כאשר נבחרים נבדקים שציוניהם במדידה המוקדמת קיצוניים ‪ -‬נמוכים או גבוהים מאוד‪ ,‬קיים סיכוי לרגרסיה‬ ‫לממוצע (‪ ,)statistical regression‬שהיא רגרסיה של ציונים אלה לכיוון הממוצע במדידה השנייה‪ .‬ציונים‬ ‫קיצוניים נפוצים פחות ולכן סביר פחות להניח כי יחזרו על עצמם גם במדידה השנייה‪ .‬למשל‪ ,‬רוב הסיכויים‬ ‫שנבדק שקיבל ‪ 100‬במבחן‪ ,‬יצליח פחות במבחן הבא‪ .‬יש סבירות גבוהה לשונות טעות גדולה יותר בציונים‬ ‫קיצוניים‪ -‬סביר להניח כי חלקם התקבלו במקרה‪ ,‬ולכן במדידה הבאה יהיו קרובים יותר לממוצע‪ .‬לכן‪ ,‬ללא קשר‬ ‫למניפולציה‪ ,‬הציון עשוי להתקרב לממוצע ובכך להטות את תוצאות הניסוי‪.‬‬ ‫דוגמא‪ :‬חוקרת בדקה את ההשפעה של שיטת לימוד חדשה על הישגיהם של תלמידים‪ .‬היא בחרה לניסוי את‬ ‫‪ 20‬התלמידים שהוציאו את הציון הנמוך ביותר במבחן הישגים כלשהו‪ .‬לאחר שהתלמידים למדו בשיטה‬ ‫החדשה‪ ,‬נבדקו הישגיהם שוב‪.‬‬ ‫החוקרת עשויה למצוא שיפור בהישגיהם של התלמידים‪ ,‬אולם לא ניתן יהיה לייחס שיפור זה למניפולציה בלבד‪.‬‬ ‫ייתכן ובקרב ‪ 20‬התלמידים יש תלמידים שאינם מתקשים והוציאו במקרה ציון נמוך במדידה הראשונה (מסיבות‬ ‫של עייפות או חוסר מוטיבציה למשל)‪ .‬במדידה השנייה ציוניהם יחזרו מהרמה הקיצונית לרמה ממוצעת יותר‪.‬‬ ‫ניתן לפתור את הבעיה ע"י ‪ - matching‬הוספת קבוצת ביקורת שבה אותו מספר של נבדקים בעלי ציונים‬ ‫קיצוניים‪ ,‬כמו בקבוצת הניסוי‪.‬‬ ‫ב‪ .‬איומים על מערך בין‪-‬קבוצתי ללא השמה רנדומלית‬ ‫מערך בין קבוצתי הוא מערך המתבסס על השוואה בין קבוצת הניסוי לקבוצה או קבוצות אחרות‪ .‬מערך זה‬ ‫משתמש בקבוצת ביקורת אך ללא השמה רנדומלית של הנבדקים‪ .‬גם מערך כזה‪ ,‬המשתמש בקבוצת ביקורת‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫מאוים מבחינת תוקף פנימי‪ .‬שלושה מהאיומים נוגעים להשמה לא רנדומלית של הנבדקים‪ :‬ברירה‪ ,‬נשירה‬ ‫דיפרנציאלית ואינטראקציות עם ברירה‪.‬‬ ‫ניתן להתמודד עם רוב האיומים הללו ע"י השמה רנדומלית‪.‬‬ ‫ברירה (סלקציה)‬ ‫ברירה (‪ )selection‬היא מצב בו ניתן לייחס את האפקט שנתגלה בניסוי למאפייני הנבדקים ולא למניפולציה‪,‬‬ ‫עקב הבדל שיטתי במאפייני הנבדקים בין קבוצת הניסוי והביקורת‪ .‬אם למשל בניסוי שתואר קודם‪ ,‬כל הנבדקים‬ ‫בקבוצת הניסוי הם מכיתת המחוננים‪ ,‬וכל הנבדקים בקבוצת הביקורת הם תלמידי כיתה רגילה‪ ,‬אזי הרכב‬ ‫הקבוצות ולא המניפולציה יגרום להבדלי ההישגים בין הקבוצות‪ .‬השמה רנדומלית לקבוצות השונות יוצרת שוויון‬ ‫הסתברותי ביניהן על ידי מתן סיכוי שווה לכל נבדק להשתתף בכל אחד מתנאיי הניסוי‪ .‬רק כך לא ניתן יהיה‬ ‫לייחס את האפקט להבדל שיטתי בין הקבוצות‪ :‬כל קבוצה תכיל מספר שווה פחות או יותר של נבדקים בעלי‬ ‫רמות אינטליגנציה שונות‪.‬‬ ‫נשירה‬ ‫נשירה (‪ )mortality‬היא עזיבת נבדקים את הניסוי לפני סיומו‪ .‬הנשירה עלולה להשפיע על תוצאותיו של הניסוי‪.‬‬ ‫יש להבדיל בין נשירה מקרית לנשירה דיפרנציאלית‪.‬‬ ‫‪ .1‬נשירה דיפרנציאלית‪ -‬נשירה לא מקרית של נבדקים‪ .‬כלומר‪ ,‬נבדקים נושרים מקבוצה ספציפית יותר‬ ‫מאשר מקבוצות אחרות‪ .‬נשירה דיפרנציאלית יכולה לנבוע משתי סיבות‪:‬‬ ‫א‪.‬‬ ‫אינטראקציה בין נשירה וטיפול‪ -‬המניפולציה הספציפית בקבוצת הניסוי גורמת לנבדקים בקבוצה זו‬ ‫לנשור‪ .‬למשל‪ :‬בניסוי הבודק דיאטה חדשה‪ ,‬הנבדקים בקבוצת הניסוי‪ ,‬ללא קשר למאפייניהם‪ ,‬פורשים‬ ‫משום שאינם מסוגלים לעמוד בתנאים המחמירים של הדיאטה‪ .‬אלה שנשארים הם רק נבדקים‬ ‫שמורידים ממשקלם‪ ,‬והתוצאות המתקבלות משקפות שיפור במשקל‪ .‬עם זאת‪ ,‬שיפור זה אמנם מיוחס‬ ‫לדיאטה‪ ,‬אך הוא ספציפי לנבדקים שנשארו במחקר‪ ,‬ולא בהכרח נכון לגבי הנבדקים שהתקשו בדיאטה‬ ‫ולכן נשרו מהמחקר‪ .‬איום זה לא ייפתר על ידי השמה רנדומלית‪ ,‬ולמעשה קשה למצוא לו פתרון שאינו‬ ‫גורם לבעיות אחרות במערך המחקר‪.‬‬ ‫ב‪.‬‬ ‫אינטראקציה בין נשירה לברירה‪ -‬השמה לא רנדומלית לקבוצות השונות יוצרת מצב בו נבדקים בעלי‬ ‫תכונה מסוימת מרוכזים בקבוצה אחת‪ .‬אם תכונה זו משפיעה על נשירה מהניסוי ‪ -‬תהיה נשירה‬ ‫דיפרנציאלית‪ .‬למשל‪ ,‬בהשוואה בין שני סוגי דיאטה כל הנבדקים בעלי משקל יתר מרוכזים בקבוצה‬ ‫אחת ונבדקים בעלי משקל ממוצע מרוכזים בקבוצה השנייה‪.‬‬ ‫הנבדקים בקבוצה השנייה יגיעו למשקל הרצוי מהר יותר וינשרו‪ .‬במקרה זה אפשר להתמודד עם‬ ‫האיום על ידי השמה רנדומלית לקבוצות השונות‪.‬‬ ‫‪ .2‬נשירה מקרית‪ -‬מצב בו באופן מקרי לחלוטין נושרות כמויות נבדקים שונות מכל אחת מהקבוצות‪ .‬גם כאן‬ ‫לא תעזור השמה רנדומלית‪ .‬קיימות שיטות סטטיסטיות לניכוי השפעת הנשירה על תוצאות הניסוי‪.‬‬ ‫אינטראקציות עם ברירה‬ ‫אינטראקציות עם ברירה (‪ )statistical interaction with selection‬הן שילוב של כל אחד מהאיומים עד כה‬ ‫עם ברירה‪ ,‬כלומר‪ ,‬עם הבדל שיטתי כלשהו בין הקבוצות‪ .‬הבדל שיטתי בין הקבוצות עשוי לגרום לכך שהאיום‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫ישפיע באופן שונה על הקבוצות‪ ,‬ויהווה הסבר אלטרנטיבי להבדלים בין הקבוצות במשתנה התלוי‪ .‬למשל‪:‬‬ ‫בשילוב של היסטוריה עם ברירה‪ ,‬אירועים מרגשים‪ ,‬שאינם המשתנה הבלתי תלוי‪ ,‬עשויים להשפיע בצורה‬ ‫שונה על קבוצות המורכבות מאנשים עם או בלי דיכאון‪.‬‬ ‫אפשר להתמודד עם איומים אלה על ידי השמה רנדומלית לקבוצות השונות‪.‬‬ ‫ג‪ .‬איומים על שוויון בין קבוצות לאחר השמה רנדומלית‬ ‫אפשר להתמודד עם שמונת האיומים העיקריים על התוקף הפנימי על ידי הוספת קבוצת ביקורת והשמה‬ ‫רנדומלית לקבוצות‪ .‬עם זאת‪ ,‬גם לאחר שנוצר שוויון התחלתי בין הקבוצות‪ ,‬קיימים חמישה איומים נוספים‪,‬‬ ‫פחות משמעותיים‪ ,‬על התוקף הפנימי‪.‬‬ ‫להלן פירוט האיומים על שוייון בין קבוצות לאחר השמה רנדומלית‪ ,‬ומשמעותם‪:‬‬ ‫דה מורליזציה‪ -‬התמרמרות נבדקי קבוצת הביקורת‬ ‫התמרמרות בקרב נבדקי קבוצת הביקורת ( ‪ ,)resentful demoralization of control group subjects‬אשר‬ ‫אינם מקבלים את תנאי המניפולציה‪ ,‬ולכן עלולים לחוש מקופחים‪ .‬תחושת קיפוח זו עשויה להשפיע על תוצאות‬ ‫הניסוי‪ .‬מניעת מעבר מידע בין הקבוצות‪ ,‬ו‪ /‬או מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים עשויה‬ ‫למנוע התמרמרות זו‪.‬‬ ‫דיפוזיה של מידע‬ ‫דיפוזיה של מידע (‪ )diffusion of treatment to the control group‬היא דליפת מידע בין הקבוצות‪ ,‬העלולה‬ ‫להרוס את השפעת המניפולציה‪ .‬אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין הקבוצות‪.‬‬ ‫היסטוריה מקומית‬ ‫אירוע המתקיים באופן ייחודי באחת הקבוצות ועלול להשפיע השפעה מהותית על תוצאות הניסוי‪" .‬הרצת‬ ‫הניסוי" במקביל ובתנאים דומים ככל האפשר בשתי הקבוצות (דיסגרגציה) תעזור להתגבר על איום זה‪.‬‬ ‫ההבדל בין איום ההיסטוריה (שהוזכר בחלק הקודם) לבין איום ההיסטוריה המקומית (‪ :)local history‬איום‬ ‫ההיסטוריה מתייחס לאירוע חיצוני שקרה לכל הנבדקים בכל הקבוצות בין שתי המדידות‪ .‬אם אירוע זה השפיע‬ ‫באופן שונה על הקבוצות השונות עקב הבדל שיטתי במאפייני הנבדקים בקבוצות‪ ,‬האיום יכונה אינטראקציה של‬ ‫היסטוריה וברירה‪ .‬לעומת זאת איום ההיסטוריה המקומית‪ ,‬מתייחס לאירוע שקרה רק לנבדקים בקבוצה‬ ‫מסוימת‪.‬‬ ‫השוואה מפצה‬ ‫מצב בו המניפולציה מניב ה רווח כלשהו לנבדקים ולכן נבדקי קבוצת הביקורת או גוף חיצוני דורשים פיצוי של‬ ‫קבוצת הביקורת‪ .‬מתן פיצוי לקבוצת הביקורת‪ ,‬או השוואה מפצה ( ‪compensating equalization of‬‬ ‫‪ ,)treatment‬יוצר דיפרנציאציה בין הקבוצות‪ ,‬שאין מקורה במשתנה הבלתי תלוי‪ .‬אפשר להתמודד עם איום‬ ‫זה על ידי מניעת מעבר מידע בין הקבוצות‪ ,‬ו‪/‬או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫תחרות מפצה‬ ‫מצב בו הקבוצה ה"מקופחת" משקיעה מאמץ על מנת שלא תושג העליונות הצפויה של הקבוצה השנייה הוא‬ ‫מצב של תחרות מפצה (‪ .)compensatory rivalry‬אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין‬ ‫הקבוצות‪ ,‬ו‪ /‬או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים‪.‬‬ ‫תוקף מבנה‬ ‫תוקף המבנה (‪ )construct validity‬מתייחס לקשר בין המשתנים התצפיתיים והמשתנים התיאורטיים‪ :‬האם‬ ‫ההגדרות האופרציונליות של המשתנה התלוי והבל תי תלוי אכן מייצגות את המונחים התיאורטיים אותם התכוון‬ ‫החוקר לבדוק?‬ ‫לרוב‪ ,‬קיימת יותר מדרך אחת לפרש את משתני המחקר‪ ,‬מבחינת הקשר בינם ובין המונח התיאורטי אותו הם‬ ‫אמורים לשקף‪ .‬לא קיימים סטנדרטים חד משמעיים לתוקף המבנה‪ ,‬משום שהקשר בין המונחים התיאורטיים‬ ‫והגדרותיהם האופרציונליות נתון לפרשנות ולא תמיד ישנה לגביו הסכמה‪.‬‬ ‫היבטים של תוקף מבנה‬ ‫תוקף המבנה מתייחס לשאלת ההלימה בין ההגדרה האופרציונלית למונח התיאורטי‪ ,‬על שני היבטיה‪ -‬מיצוי‬ ‫ובלבדיות‪ .‬בעיה בכל אחד מהיבטים אלה תשפיע על תוקף המבנה‪.‬‬ ‫מיצוי‬ ‫מיצוי‪ :‬הגדרה אופרציו נלית נחשבת ממצה אם היא כוללת את כל המרכיבים של המונח התיאורטי הנחקר‪.‬‬ ‫כשיש בעיה של חוסר מיצוי אפשר להוסיף מדדים אופרציונליים הבודקים מרכיבים אחרים של אותו מונח‬ ‫תיאורטי‪.‬‬ ‫ככל שיש יותר הגדרות אופרציונליות וכולן מניבות את אותן המסקנות‪ ,‬מתחזק תוקף המבנה‪ .‬עם זאת‪ ,‬קשה‬ ‫להגיע להגדרה אופרציונלית אחת ממצה לחלוטין‪ ,‬משום שמונחים תיאורטיים הם לרוב מורכבים ועשירים‪.‬‬ ‫לדוגמא‪ ,‬המשתנה התיאורטי "אינטליגנציה" יכול לקבל מספר הגדרות אופרציונליות‪ :‬מבחני כושר ביצוע‪ ,‬מבחני‬ ‫יכולות מתמטיות‪ ,‬מבחני יכולות מילוליות‪ ,‬וכד'‪ .‬מדידה של יכולת מילולית בלבד‪ ,‬למשל‪ ,‬לא תמצה את‬ ‫המשתנה התיאורטי ממנו נגזרה ההגדרה האופרציונלית‪.‬‬ ‫בלבדיות‬ ‫בלבדיות‪ :‬הגדרה אופרציונלית נחשבת בלבדית אם היא כוללת רק מרכיבים השייכים למונח התיאורטי הנחקר‪,‬‬ ‫ואינה כוללת מרכיבים שאינם שייכים למונח זה‪ .‬בעיה של חוסר בלבדיות חמורה יותר מבעיה של חוסר מיצוי‪,‬‬ ‫משום שייתכן כי המניפולציה השפיעה בגלל היבט של ההגדרה האופרציונלית שאינו קשור למונח התיאורטי‬ ‫(ראה ‪ .)confounding‬לדוגמא‪ :‬מדידת המשתנה התיאורטי "אינטליגנציה" על ידי מבחני יכולת מילולית‪ ,‬עשויה‬ ‫לערב משתנה נוסף‪ :‬הבנת שפה‪ .‬במקרה זה ההגדרה האופרציונלית אינה בלבדית‪ ,‬משום שהיא מכילה‬ ‫היבטים שאינם שייכים למונח התיאורטי הנחקר‪.‬‬ ‫אחת הדרכים להגביר את הוודאות בבלבדיות היא לבצע בדיקת מניפולציה (‪ .)manipulation check‬כך ניתן‬ ‫לוודא שהמניפולציה אכן משפיעה על הנבדק בהתאם להשערות החוקר‪ .‬למשל‪ ,‬בדיקת השפעת הקרנת סרט‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫משעשע לנבדקים על רמת השמחה שלהם‪ ,‬על ידי בדיקת מספר החיוכים שהם מחייכים לדקה גם לפני‪ ,‬ולא רק‬ ‫אחרי הסרט‪ .‬בדיקה זו מתבצעת לרוב במסגרת מחקר מקדים (‪.)pre-test‬‬ ‫המצב הבעייתי ביותר הוא מצב בו משולבים חוסר מיצוי וחוסר בלבדיות‪ .‬במצב כזה ההגדרה האופרציונלית לא‬ ‫מייצגת כלל את המונח התיאורטי‪ ,‬אלא רק היבטים שלו ושל מונחים תיאורטיים אחרים‪.‬‬ ‫איומים על תוקף המבנה‬ ‫קיימים מספר גורמים הפוגעים במיצוי ו‪/‬או בבלבדיות ומאיימים על תוקף המבנה‪:‬‬ ‫משתנה מוצמד‬ ‫משתנה מוצמד (‪( (Confounding‬נקרא בעברית גם בלבול‪ ,‬ערבוב) הוא מצב בו היבט של המשתנה הבלתי‬ ‫תלוי האופרציונלי‪ ,‬אחר מזה שרצה החוקר לתפעל‪ ,‬מוצמד למשתנה הבלתי תלוי‪ .‬במצב זה‪ ,‬השפעה על‬ ‫המשתנה התלוי לא יכולה להיות מיוחסת בביטחון למשתנה הבלתי תלוי שרצה החוקר לתפעל‪ .‬לדוגמא‪ ,‬חוקר‬ ‫בוחר לתפעל שמחה בניסוי באמצעות בדיחות משעשעות המסופרות לנבדקים במהלך ההפסקה בין השיעורים‪.‬‬ ‫אפקט השמחה‪ ,‬במידה וימצא‪ ,‬עשוי להיות מיוחס להשפעתה של ההפסקה ולאו דווקא לתוכן הבדיחות‪ .‬מצב‬ ‫של ‪ confounding‬מהווה הסבר חלופי למשמעות המשתנה האופרציונלי‪ ,‬מאחר וקיימת יותר מדרך אחת לפרש‬ ‫את הקשר בינו ובין המונח התיאורטי אותו הוא אמור לייצג‪ .‬כך‪ ,‬תפעול השמחה המוזכר בדוגמא לעיל עשוי היה‬ ‫להיגרם על ידי המשתנה התיאורטי "הומור" במידה ותוכן הבדיחות הוא האחראי להעלאת השמחה‪ ,‬או על ידי‬ ‫המשתנה התיאורטי "תחושת הקלה" או "ירידת מתח" במידה וההפסקה היא האחראית להעלאת השמחה של‬ ‫הנבדקים‪.‬‬ ‫חוסר בהירות המשתנה התיאורטי‬ ‫קיימים מונחים תיאורטיים הנתונים לפרשנות שונה על ידי חוקרים שונים‪ .‬פרשנות שונה מובילה להגדרות‬ ‫אופרציונליות שונות לאותו מונח תיאורטי‪ .‬העדר הסכמה בין חוקרים בנושא זה עלול להוליד פירושים שונים‬ ‫לתוצאות הניסויים‪ .‬כך חוסר בהירות של המשתנה התיאורטי (‪)inadequate explication of constructs‬‬ ‫עשוי לפגום במיצוי ובבלבדיות ההגדרות האופרציונליות הנגזרות ממנו‪.‬‬ ‫בעיית הלימה‬ ‫לעיתים אין חפיפה מספקת בין המשתנה התיאורטי והגדרתו התצפיתית (האופרציונלית)‪ .‬העדר התאמה בין‬ ‫המונח התיאורטי והמשתנה התצפיתי מאיים על תוקף המבנה של הניסוי‪ .‬העדר התאמה יכול לפגום במיצוי‬ ‫( אם ההגדרה האופרציונלית כוללת רק חלק ממרכיבי המונח התיאורטי) או בבלבדיות (אם ההגדרה‬ ‫האופרציונלית כוללת גם מרכיבים שאינם קשורים למונח התיאורטי)‪.‬‬ ‫איומים הקשורים בנסיין ובנבדק‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫שני האיומים הראשונים‪ ,‬שהוזכרו לעיל‪ ,‬קשורים אך ורק בתוקף המבנה‪ ,‬כלומר‪ ,‬בקשר בין המשתנים‬ ‫התיאורטיים והתצפיתיים‪ .‬שלושת האיומים הבאים שנויים במחלוקת‪ .‬יש המייחסים אותם לאיום על תוקף‬ ‫המבנה ויש המייחסים אותם לאיום על התוקף הפנימי‪:‬‬ ‫‪ .1‬ציפיות הנסיין‪ -‬הנסיין מודע פעמים רבות להשערות הניסוי‪ ,‬דבר העשוי להתבטא בהתנהגותו באופן מודע‬ ‫או בלתי מודע ולהשפיע על תוצאות הניסוי‪.‬‬ ‫‪ .2‬מאפייני מצב הניסויי (‪ )Demand characteristics‬מאפייני ניסוי הרומזים לנבדק על מטרת הניסוי‬ ‫ועשויים לסייע לו לגלות אותה ולהתנהג בהתאם לה‪.‬‬ ‫‪ .3‬רצייה חברתית‪ -‬שאיפת הנבדקים לזכות בהערכת הנסיין משנה את התנהגותם‪.‬‬ ‫בכל המקרים הללו הנבדקים פועלים בעקבות המניפולציה אך לא תוכן המניפולציה הוא שהשפיע עליהם‪ ,‬אלא‬ ‫תחושותיהם והבנתם ביחס למה שמצפים מהם‪ .‬אם מתייחסים אל גורמים אלה כאל היבט של המניפולציה‬ ‫שאינו קשור למשתנה התיאורטי‪ ,‬ניתן להתייחס אל איומים אלה כאיומים על תוקף המבנה (פגיעה בבלבדיות)‪.‬‬ ‫עם זאת‪ ,‬ניתן באותה המידה להתייחס אל איומים אלה כאל איומים על התוקף הפנימי‪ -‬ייתכן והמניפולציה לא‬ ‫פעלה וגורמים אחרים‪ ,‬שהם חיצוניים לה‪ ,‬גרמו לאפקט‪ .‬בעיות נוספות הקשורות לנבדקים ונסיינים יפורטו‬ ‫בהמשך‪ ,‬בפרק 'הטיות שמקורן בנבדק או בנסיין'‪.‬‬ ‫הבחנה בין איום על תוקף פנימי לבין איום על תוקף מבנה‬ ‫אם נראה שהאפקט התקבל כתוצאה מהשפעת גורם חיצוני שאינו קשור למניפולציה‪ ,‬כלומר אם יש חשד‬ ‫לארטיפקט‪ ,‬מדובר באיום על התוקף הפנימי‪ .‬לעומת זאת‪ ,‬אם נראה שהאפקט התקבל כתוצאה מהמניפולציה‬ ‫עצמה‪ ,‬אך הוא קשור להיבט שונה מההיבט בו החוקר מעוניין‪ ,‬כלומר אם יש חשד ל ‪ ,confounding‬מדובר‬ ‫באיום על תוקף המבנה‪.‬‬ ‫לדוגמא‪ :‬אם נבדקי קבוצת הניסוי היו שמחים יותר מנבדקי קבוצת הביקורת לאחר שמיעת בדיחות משעשעות‪,‬‬ ‫בגלל שרמזו להם שהקבוצה אליה הם שייכים היא איכותית יותר ‪ -‬זהו איום על התוקף הפנימי‪ .‬לעומת זאת‪,‬‬ ‫אם הם היו שמחים יותר בגלל שזמן שמיעת הבדיחות היה בהפסקה והם חשו הקלה לאור היציאה להפסקה‪-‬‬ ‫זהו איום על תוקף המבנה (פגיעה בבלבדיות)‪.‬‬ ‫תוקף חיצוני‬ ‫התוקף החיצוני (‪ )external validity‬מתייחס ליכולת להכליל את ממצאי הניסוי על אוכלוסיות‪ ,‬מצבים וזמנים‬ ‫שונים‪ .‬קיימים שלושה איומים עיקריים על התוקף החיצוני‪ ,‬כל אחד מהם נוגע בהיבט אחר של יכולת ההכללה‪:‬‬ ‫איומים על התוקף החיצוני‬ ‫אינטראקציה בין מדידה לטיפול‬ ‫קיימת בעיה של הכללת ממצאים ממצב בו המניפולציה הופעלה לאחר מדידה מוקדמת (מערך לפני אחרי)‪,‬‬ ‫למצבים בהם המניפולציה תופעלה ללא מדידה מוקדמת‪ .‬כאשר המניפולציה תופעלה לאחר המדידה המוקדמת‬ ‫קיימת סכנה לאינטראקציה בין מדידה וטיפול (‪ .)interaction of testing and treatment‬ניתן להתמודד עם‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬ ‫איום זה על ידי השוואת הממצאים שהתקבלו במערך לפני אחרי לממצאים מקבוצה בה לא בוצעה המדידה‬ ‫המוקדמת‪ ,‬רק המניפולציה‪.‬‬ ‫ההבדל בין איום זה‪ ,‬לאיום של מדידה על התוקף הפנימי (שהוזכר קודם)‪ :‬באיום של מדידה על התוקף הפנימי‪,‬‬ ‫יש חשד כי המניפולציה לא עבדה כלל‪ ,‬ורק המדידה המוקדמת גרמה לתוצאות‪ .‬באיום של אינטראקציה בין‬ ‫טיפול ומדידה על התוקף החיצוני‪ ,‬המניפולציה השפיעה‪ ,‬אך ייתכן שהשפעתה תלויה בשילוב עם המדידה‬ ‫המוקדמת‪.‬‬ ‫בעיות של דגימה ‪ /‬אינטראקציה בין המניפולציה לאוכלוסייה‬ ‫בעיות דגימה ‪ /‬אינטרא קציה בין המניפולציה לאוכלוסייה (‪ )interaction of selection and treatment‬הן‬ ‫בעיות ה מתייחסות למצב בו המדגם אינו מקרי או אינו מייצג את האוכלוסייה ממנה הוא נלקח ולכן לא ניתן‬ ‫להכליל ממנו אל האוכלוסייה הרצויה‪ .‬ניתן להתמודד עם איום זה על ידי דגימה רנדומלית ומייצגת של‬ ‫האוכלוסייה‪ ,‬או על ידי הפיכת סוג המדגם למשתנה שיטתי‪ :‬על ידי חזרה על הניסוי עם מדגם אחר כל פעם‪.‬‬ ‫בעיות של זמן ומקום (אינטראקציה בין המניפולציה למועד או לסביבת הניסוי)‬ ‫בעיות של זמן ומקום ‪ /‬אינטראקציה בין המניפולציה למועד או לסביבת הניסוי ( ‪interaction of setting or‬‬ ‫‪ )history and treatment‬הן בעיות בהכללת הממצאים מעבר לזמן או למקום הספציפיים בהם נערך הניסוי‪.‬‬ ‫ייתכן שהמניפול ציה השפיעה בשל ההקשר המסוים של הניסוי‪ ,‬ולא תשפיע בזמן או מקום אחרים‪ .‬אפשר‬ ‫להתמודד עם איום זה על ידי חזרה על הניסוי בתנאים שונים (ווריאציות שיטתיות)‪ .‬מושג רלוונטי למצב זה הוא‬ ‫תוקף אקולוגי‪ ,‬המתייחס לסוגיית היכולת המוגבלת להכליל ממצאי ניסוי שהתקבלו במעבדה לשטח‪ ,‬לעולם‬ ‫האמיתי‪ .‬ניתן לנסות לפתור איום זה על ידי הפיכת הסביבה המעבדתית לדומה ככל האפשר למציאות‬ ‫(‪ ,)experimental realism‬למשל על ידי שימוש בתפאורה‪.‬‬ ‫הקשר בין התקפים השונים של ממצאי הניסוי‬ ‫לא ניתן להתמודד עם ארבעת סוגי תוקף ממצאי הניסוי בו זמנית‪ .‬ביסוס תוקף מסוג אחד עלול לאיים על תוקף‬ ‫מסוג אחר‪ .‬הגברת תוקף המסקנה הסטטיסטית על ידי החזקת משתנה קבוע‪ ,‬למשל‪ ,‬פוגעת בתוקף החיצוני‬ ‫משום שנפגעת יכולת ההכללה לרמות שונות של המשתנה שהוחזק קבוע‪ .‬ההחלטה לגבי סדר העדיפויות בין‬ ‫סוגי התוקף תלויה באופי ומטרות המחקר‪ ,‬אך באופן עקרוני‪ ,‬על התוקף הפנימי להיות תמיד הראשון בסדר‬ ‫העדיפויות‪ .‬קל יחסית להקפיד על תוקף זה על ידי תכנון הולם של ניסוי במעבדה‪.‬‬ ‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬ ‫‪www.pitronot.org‬‬