ניתוח נתונים (כמותניים)
כיצד תדע מתי התכניות שלך אכן משיגות את מטרתן? יסודות בהערכה למנהלי תכניות מפגש :3ניתוח הנתונים אניטה מ' בייקרEd.D , שירותי הערכה Hartford Foundation for Public Giving (קרן הרטפורד לנתינה ציבורית), תכנית לתמיכה בארגונים ללא כוונת רווחBEC : קרן ברונר חומרים אלה מיועדים לתועלתו של כל ארגון חברתי. אפשר להשתמש בהם בחלקם או בשלמותם בתנאי שיצוין שמקורם בקרן ברונר. אין למכור או להפיץ אותם בשלמותם או בחלקם למטרות רווח. כל הזכויות שמורות © ,2012קרן ברונר * בחומרים המשלימים תוכל לראות דוגמאות לסדר יום ,לפעילויות ולתמסירים קרן ברונר רוצ'סטר ,ניו יורק כיצד להשתמש בשקפי הפאואר פוינט של יסודות ההערכה למנהלי תכניות של קרן ברונר השקפים של יסודות ההערכה למנהלי תכניות הוכנו במסגרת הפרויקט המיוחד של קרן ברונר ,על-ידי מדריכת ההערכה אניטה בייקר – שירותי הערכה ,ומומנו במשותף עם קרן הרטפורד לנתינה ציבורית .הם נבדקו תחילה בארגון אחד ברוצ'סטר ניו יורק ()Lifespan במסגרת פרויקט התמיכה בהערכה .(Evaluation Support Project 2010) 2010לאחר מכן הוכנסו שינויים ותיקונים בחומרים ונערכה בדיקה חוזרת שלהם בשלושה ארגונים ללא כוונת רווח במסגרת פרויקט עיגון ההערכה ( )Anchoring Evaluationב2012-- .2011שקפים אלה ,המיועדים לשימוש בארגונים שכבר השתתפו בהכשרה מקיפה בהערכה ,כוללים מידע חשוב בסיסי על תכנון הערכה ,איסוף נתונים וניתוח בשלוש מצגות שונות .חשוב שנושאי משרה בארגונים או אנשי מקצוע בתחום ההערכה העובדים עם מנהלי ארגונים ללא כוונת רווח יבחנו את השקפים ,ישנו את הסדר שלהם ויוסיפו/ישמיטו תוכן בהתאם לצורכי ההערכה( .תן דעתך לכך שהמפגש האחרון כולל מידע כללי על תכנון הניתוח וכן ניתוח של הנתונים הכמותניים והאיכותניים כאחד ,ומצגת של ממצאים. אסטרטגיות ספציפיות הקשורות לאיסוף נתונים ,כלומר ניתוח של נתוני סקרים או של נתוני ראיונות ,ומידע על הכנת טבלאות וגרפים כלולים ב מצגת הפאואר פוינט הנלווית. חומרים נוספים בנוסף לשקפים אלה יש לוחות זמנים לדוגמה ,חומרים נוספים לפעילויות ותמסירים אחרים .יש שקפי "סימון" שיש בהם רק תמונה של היעד עם חץ במרכז לוח המטרה המציין את המקומות שבהם אפשר לבצע את הפעילויות .תוכל לשנות את מיקומם של שקפים אלה או לוותר על השימוש בהם בהתאם לסדר היום המתוכנן .גרסאות אחרות ,מפורטות יותר של חומרי "יסודות ההערכה" נמצאות גם ב"יסודות בהערכה משתפת :מדריך מעודכן לארגונים ללא כוונת רווח ולשותפיהם להערכה" ( Participatory Evaluation )Essentials: An Updated Guide for Nonprofit Organizations and Their Evaluation Partnersומצגת השקפים הנלווית הנחלקת ל 6-מפגשים .חומרים אלה נמצאים גם באתרי האינטרנט של קרן ברונר ושל "שירותי הערכה" ואפשר להורידם ללא תשלום. בין אם אתה מנהיג ארגון או איש מקצוע בתחום ההערכה המסייע לצוות העובדים של ארגון ללא כוונת רווח ,אנו מקווים שהחומרים המובאים כאן יתמכו בפעולותיך. לאחר שתסיים את השימוש בסדרת יסודות בהערכה למנהלי תכניות בקש מהמשתתפים בהכשרה לענות על שאלות הסקר שלנוhttps://www.surveymonkey.com/s/EvalAnchoringSurvey . קרן ברונר רוצ'סטר ,ניו יורק מה זו בכלל הערכה? הערכת תכניות איסוף וניתוח שיטתיים ושקולים של מידע לגבי הפעילויות ,המאפיינים והתוצאות של תכניות, לשימושם של אנשים ספציפיים במטרה לצמצם את אי-הוודאות ולהביא לקבלת החלטות מושכלות. iסקירה הערכה משתפת אנשי מקצוע שעברו הכשרה בהערכה ומקבלי החלטות בעלי ניסיון מעשי ,מתכנסים יחד כדי ללמוד על הערכת תכניות ,לתכנן הערכת תכניות ,לבצע אותה ולהשתמש בתוצאותיה. כיצד נאספים נתוני ההערכה? ראיונות לכל השיטות יש מגבלות ויתרונות סקרים הן דורשות הכנה מוקדמת: פיתוח ובחינה של מכשירים הכנת תכנית הפצה הכנת תכנית ניתוח תצפיות סקירת רשומות iiסקירה אפשרויות לאיסוף נתוני הערכה נתונים כמותניים נתונים איכותניים ראיונות עריכת שיחות מונחות עם אנשי מפתח הבקיאים בנושא קבוצות מיקוד הנחיית דיון על נושא מסוים/שאלה מסוימת בהשתתפות אנשים בעלי מאפיינים דומים סקרים הצגת סדרה מובנית של שאלות עם אפשרויות בחירה נפרדות תצפיות תיעוד ביטויי התנהגות או מאפייני סביבה נראים לעין iiiסקירה סקירת רשומות ונתונים מינהליים איסוף וארגון של נתונים ממקורות חיצוניים על תכנית או על אירוע ועל המשתתפים בהם סקירת רשומות חיצוניות שימוש בנתונים כמותניים שאפשר לקבלם ממקורות קיימים סקרים: סדרת פריטים עם אפשרות בחירה בין תשובות קבועות מראש הזנת התשובות לשאלות יכולה להתבצע על-ידי עורך הסקר או על-ידי המשיבים השתמש בסקרים כדי: אפשר לערוך אותם לבחון עמדות ותפיסות " בעיפרון על נייר" לאסוף הערכות בדיווח עצמי של בטלפון ,באינטרנט (סקר אלקטרוני) שינויים בתגובה על תכנית לאסוף הערכות של תכניות שימוש בגישות חלופיות לאסוף דיווחים התנהגותיים הכלים – סקרים, "הערכות"נקראים ,שאלונים לבחון ידע לקבוע שינויים לאורך זמן. לפני אחרי ivסקירה טענות יסוד ראיונות: שיחה חד-צדדית שהשאלות בה קבועות ברובן מראש ,אבל פתוחות. המרואיין עונה במונחים משלו. אפשר לערוך אותם פנים אל פנים בטלפון אחד-על-אחד או בקבוצות השתמש בראיונות כדי: לבחון עמדות ותפיסות לאסוף הערכות בדיווח עצמי של שינויים בתגובה על תכנית לאסוף הערכות של תכניות לתעד יישום תכניות לקבוע שינויים לאורך זמן. הכלים נקראים – פרוטוקולים או מתווי ראיונות או מדריכי ראיונות vסקירה תצפיות: תצפיות נערכות במטרה לראות ולשמוע את הנעשה בפעילויות המתקיימות במסגרת תכנית. משתמשים בדיווחים יידעו אילו אירועים מתרחשים וכיצד הם מתרחשים. אפשר למקד אותן בתכניות באופן כללי במשתתפים במאפיינים שנבחרו מראש השתמש בתצפיות כדי: לתעד יישום תכניות לעמוד על רמות מיומנות/יכולות ,דרכי פעולה של תכנית ,התנהגויות בתכנית לקבוע שינויים לאורך זמן. הכלים נקראים – פרוטוקולים ,מדריכים ,רשימות תיוג viסקירה סקירות רשומות: שימוש במידע פנימי קיים או במידע שנאסף למטרות אחרות. אפשר למקד אותן ברשומות של התכנית עצמה ברשומות של ארגונים אחרים הוספת שאלות למסמכים קיימים הכלים נקראים – פרוטוקולים viiסקירה השתמש בסקירת רשומות כדי: לאסוף דיווחים התנהגותיים לערוך מבחנים ,לאסוף תוצאות מבחנים לאמת נתונים בדיווח עצמי לקבוע שינויים לאורך זמן מה קורה לאחר איסוף הנתונים? .1 נעשה ניתוח של הנתונים וסיכום של התוצאות. .2 יש להמיר את הממצאים לפורמט שאפשר לחלוק אותו עם אחרים. .3 יש לקבוע צעדי פעולה על-סמך הממצאים. "כעת כשאנחנו יודעים______זה מה שנעשה ________". viiiסקירה מונחים חשובים הקשורים לנתונים נתונים קיימים בצורות שונות רשומות :מספרים או מילים על פיסות נייר דיגיטלית/במחשב :סיביות ובתים המאוחסנים אלקטרונית זיכרון :תפיסות ,תצפיות או עובדות השמורות בראשו של אדם איכותניים ,כמותניים נתונים ראשוניים לעומת משניים משתנים (פריטים) יחידת ניתוח כפולים ( )Duplicatedלעומת לא כפולים ()Unduplicated רשומת יחידה (רמת לקוח) לעומת מצרפית ()aggregated 1 תכנן את הניתוח מבעוד מועד! • אילו הליכים יבוצעו לגבי כל קבוצת נתונים ומי יבצע אותם? • כיצד יבוצעו הקידוד והתיעוד של הנתונים? • כיצד תיעשה הפרדה בין נתונים (כלומר "פיצול של נתונים לתתי קבוצות" ,למשל)? • כיצד יטופלו נתונים חסרים? • מה יהיו גישות הניתוח או החישובים שיבוצעו (לדוגמה: שכיחויות ,חיתוכים של נתונים לתתי-קבוצות)? • כיצד ייערכו השוואות? • האם דרושים מבחנים סטטיסטיים ,ואם כן – אילו? 2 פרטי תכנית הניתוח, עליך להחליט . . . אילו הליכים יבוצעו לגבי כל קבוצת נתונים ומי יבצע אותם. כיצד יקובצו או יחולקו הנתונים. אילו סוגי קודים יינתנו לנתונים. כיצד ייערכו השוואות. • בין הנתונים לבין נתונים אחרים של התכנית (בתוך קבוצה) • בין הנתונים לבין הציפיות • בין הנתונים לבין נתונים ממקורות אחרים (בין קבוצות) אין תהליך אחד בלבד! 3 ניתוח נתונים (כמותניים): כמה מונחים חשובים* • • • • • • • • מקרה :רשומה יחידה (לדוגמה 1 :משתתף 1 ,יום 1 ,פעילות) נתונים דמוגרפיים :מאפיינים תיאוריים (לדוגמה :מגדר) להפריד :להפריד מידע או לצרף מידע (לדוגמה :לבחון את נתוני הגברים בנפרד מנתוני הנשים) – חיתוכים של המידע לתתי קבוצות (,cross tabulations טבלאות צילווחים) :קשר בין שני משתנים או יותר (נקרא גם ניתוחי התפלגות מצרפית ,יכול לכלול בחינות מובהקות כגון ניתוחי חי בריבוע) כפולים (/)Duplicatedלא כפולים (( )Unduplicatedלדוגמה ,ספירת מספר האנשים המשתתפים באירועים – כפולים ( ;)Duplicatedאו ספירת מספר האירועים לכל אדם ) לחלק :מונח אחר שפירושו להפריד. יחידת ניתוח :הישות העיקרית שלגביה נערך הניתוח – כלומר ,את מה או את מי בוחנים (לדוגמה ,משתתפים ,קבוצות ,פעילויות) רשומת יחידה (כלומר רמת הלקוח) לעומת מצרפית (כלומר ,רמת הקבוצה) משתנה :משהו שמשתנה (לדוגמה ,מספר שעות הנוכחות) *שימוש מקובל 4 ניתוח נתונים כמותניים :צעדים בסיסיים .1 ארגן וסדר את הנתונים (מספר את המקרים כנדרש). סרוק את הנתונים חזותית. .3 קודד את הנתונים לפי תכנית הניתוח. הזן את הנתונים ואמת אותם. .5 קבע נתונים סטטיסטיים תיאוריים בסיסיים. תעד את הנתונים כנדרש (כולל נתונים חסרים). .7 הכן משתנים שיצרת. חשב מחדש נתונים סטטיסטיים תיאוריים בסיסיים. .9 בצע ניתוחים אחרים לפי התכנית .2 .4 .6 .8 5 גישות לניתוח נתונים כמותניים דברים חשובים שיש לבחון או לסכם שכיחויות :באיזו תכיפות מתרחשים תשובה או סטטוס. אחוזים כוללים ותקפים :שכיחות/סה"כ *100 מודדי נטייה מרכזית :ממוצע ,חציון ,שכיח התפלגות :מינימום ,מקסימום ,קבוצות (*מספר משיבים) חיתוכים של המידע לתתי קבוצות ( ,cross tabulationsטבלאות צילווחים) :קשר בין שני משתנים או יותר (נקרא גם ניתוחי התפלגות מצרפית, יכול לכלול בחינות מובהקות כגון ניתוחי חי בריבוע) הליכים מועילים ברמה השנייה בחינת ממוצעים ( ,ANOVAמבחני )t מתאמים ניתוחי רגרסיה 6 ניתוח נתונים כמותניים דברים חשובים שיש לבחון או לסכם מה לעשות לחשב שכיחויות לחשב סך הכול ו/או אחוזים תקפים מה זאת אומרת שאלות לדוגמה שתוכל לענות עליהן כמה משתתפים היו בכל קבוצה? לספור כמה יחידות של משהו יש. מה היו הנתונים הדמוגרפיים של לספור את התדירות שבה משהו (לדוגמה ,המשתתפים? כמה מהם השיבו "כן" לשאלה ?2 תשובה) מתרחש. שכיחות/סה"כ *100 מה היה חלקם של המשתתפים שעמדו ביעדי האינטנסיביות? מבין המשיבים על שאלה ,2מה היה חלקם של אלה שהשיבו "כן". 7 ניתוח נתונים כמותניים דברים חשובים שיש לבחון או לסכם מה לעשות מה זאת אומרת שאלות לדוגמה שתוכל לענות עליהן לקבוע נטיות מרכזיות חשב את הממוצע ,או זהה את החציון (אמצע) או שכיח (הערך השכיח ביותר). מהו מספר שעות הנוכחות הממוצע של המשתתפים? ממוצע = סכום הערכים מספר כולל של ערכים מספר השעות הכולל המספר הכולל של אנשים עם שעות 8 מהו המספר השכיח ביותר של ימי נוכחות בשבוע? (שכיח) ניתוח נתונים כמותניים דברים חשובים שיש לבחון או לסכם מה לעשות מה זאת אומרת לקבוע התפלגויות קבע את ערך המינימום ,ערך המקסימום ו/או כיצד הנתונים מקובצים (לדוגמה ,ערכים גבוהים ,בינוניים ונמוכים ,רבעונים ,אחוזונים וכו'). חיתוכים של המידע לתתי קבוצות ( cross )tabulations (טבלאות ציר – pivot tablesהן חיתוכים של המידע לתתי קבוצות) 9 קשר בין שני משתנים או יותר (נקרא גם ניתוחי התפלגות מצרפית ,יכול לכלול בחינות מובהקות כגון ניתוחי חי בריבוע) שאלות לדוגמה שתוכל לענות עליהן מה היה מספר ימי הנוכחות הנמוך ביותר בקבוצה? מה היה מספר ימי הנוכחות הגבוה ביותר? כמה משתתפים נמצאים בכל אחת מהקבוצות – קבוצת האינטנסיביות הנמוכה ,הבינונית והגבוהה? האם יש קשרים בין מאפייני המשתתפים לבין השינויים בתוצאות? קידוד הנתונים והזנתם .1צור הנחיות קידוד לפי הצורך וצרף אותם להנחיות של הכלי. .2צור מסדי נתונים אלקטרוניים כשהדבר אפשרי (השתמש באקסל, .)SPSS, SAS .3זהה/צור מזהים ייחודיים למקרים וחבר או הזן אותם כנדרש. .4הזן או שלוף נתונים לפי הצורך (אל תקודד מחדש בעת הזנת הנתונים). .5הכן העתקים (אלקטרוניים או מודפסים) של הנתונים שלך. 10 ניתוח נתונים איכותניים גישות ניתוח דומות לנתונים איכותניים וכמותניים חשוב כיצד בכוונתך להשתמש בממצאים ,מי הקהל? איזו מתכונת היא הטובה ביותר? תכנן את הניתוח מבעוד מועד. • • • • כיצד משתלבים הנתונים בתכנית ההערכה הכוללת ,עם נתונים אחרים? כיצד ישתלבו הממצאים בתכנית הדוח הכוללת? כיצד תקודד את הנתונים ,תציג אותם ותסיק מסקנות לגביהם? כיצד תתקף/תאמת ותתאים את הממצאים שלך? נקוט זהירות במתן פרשנות לנתונים! 11 צעדים שיש לנקוט בעת ניתוח נתונים איכותניים .1 לחלק או להפריד את הנתונים (כלומר לחלק אותם ליחידות משמעותיות מבחינת הניתוח) צמצם נתונים קודד נתונים התהליך הוא איטרטיבי השווה נתונים .3 ארגן ,סכם והצג את הנתונים .4 הסק מסקנות ,אמת/תקף את התוצאות .5 שנה את הסיכומים ואת התצוגות בהתאם .2 12 קידוד נתונים איכותניים .1 קודים הנקבעים מראש או דדוקטיביים :קטגוריות קבועות מראש המבוססות על תיאוריה מקובלת או ידע של תכנית .2 אינדוקטיביים :מבוססים על נתונים גולמיים (לא נקבעים מראש) .3 מדרגיים (היררכיים) :קטגוריות גדולות יותר שבכל אחת יש תת-קטגוריות באפשרותך לשלב תכנית קידוד אינדוקטיבית ודדוקטיבית עם תכנית מדרגית 13 אסטרטגיות קידוד ותזכורות החזק רשימת אב של קודים .1 הבחן בין קודים הנקבעים מראש לבין קודים אינדוקטיביים קודד מחדש את כל הסגמנטים .2 השתמש בקודים מרובים ,אך השתדל שתכניות הקידוד יהיו פשוטות ככל האפשר .3 בדוק כמה רישומים לדוגמה כדי לזהות בעיות אפשריות לפני סיום בחירת הקודים .4 בדוק מהימנות בין/בתוך מקודדים (עקביות) 14 הקידוד אינו מדויק (צפה להבדלים) קודים המופיעים בו-זמנית (יותר מקוד אחד לרישום) קודים בדף צרופה (מתארים) ספירה אסטרטגיה לארגון ,לסיכום ולהצגה של נתונים איכותניים כמת את שכיחות הקודים *,או הסוגים השתמש בספירות להגדרת תוצאות (לדוגמה ,רוב התשובות היו חיוביות; כל התשובות נחלקו ל 4-קטגוריות – הקטגוריה המייצגת ביותר הייתה ________). * לדוגמה :אין אף אחד ,יש אחדים, יש רבים ,באחוזים 15 ממצאים שליליים 16 הסבר את התוצאות ואת משמעותן ,ובמידת האפשר הסבר מדוע התרחשו הבהר עד כמה הן שליליות אל תייחס אותן להערכה גרועה הבהר את דרך הפעולה הבאה הבהר מה לא עלה יפה ולגבי מי הימנע מגישה פחדנית אל תימנע מלדווח אם הדבר אפשרי ממצאים לא מדויקים 17 קבע את הגורם שלח גיליון תיקוני טעויות ()errata במידת הצורך או בקש מהנמענים להחזיר את הדוחות שהופצו הסבר לבעלי העניין מדוע לא תהיה אפשרות להשתמש בתוצאות ממצאים לא חד-משמעיים 18 הצג אותם ללא נקיטת עמדה ציין שלא ניתן להסיק מסקנות הכן תכנית לתיקון ההערכה או לתיקון בעיות בתכנית במידת הצורך ממצאים חיוביים 19 הסבר את התוצאות ואת משמעותן ,ובמידת האפשר הסבר מדוע התרחשו הבהר מדוע הן חיוביות ,למי היו לתועלת וכיצד אל תטיל ספק בתוצאות חיוביות (אבל הקפד להימנע ממערכים מוטים) דווח על תוצאות חיוביות ושבח הישגים הבהר את דרך הפעולה הבאה אל תניח הנחות לגבי האיטרציה הבאה תכנן מעקב מדוקדק הכנת דוחות ההערכה :צעדים ראשונים .1זהה במדויק את הקהל שלך. עובדים? גורמים מממנים? מועצת מנהלים? משתתפים? קהלים רבים .2קבע מהן האסטרטגיות הטובות ביותר להצגת התוצאות. גיליון מידע מצגת בעל-פה וידאו הודעות לעיתונות פאואר פוינט גיליון מידע תצוגות חזותיות סיפור דוח דוח מלא ,תמצית מנהלים ,דוח ספציפי לבעלי עניין? 20 מבוא מרכיבים של דוח הערכה מצוין תיאור של התכנית שלגביה בוצעה ההערכה. הסבר ברור על שאלות ההערכה ועל מטרת ההערכה. תיאור השיטות שבהן נעשה שימוש לאיסוף הנתונים סיכום הממצאים העיקריים (כולל טבלאות ,גרפים ,סיפורים קצרים ,ציטוטים וכו'). דיון במשמעות ובחשיבות של הממצאים העיקריים או הסבר של חשיבותם צעדי פעולה מוצעים הצעדים הבאים (לתכנית ולהערכה) נושאים להמשך בחינה (קצוות לא סגורים) ממצאים שיטות מסקנות 21 חשוב על הגישות למסירת תוצאות ההערכה האם יש הזדמנויות טבעיות להביא ממצאים (ראשוניים) לידיעתם של בעלי עניין? • בכינוס מיוחד • בפגישות קבועות או מתוכננות מראש • במהלך אינטראקציות רגילות בעבודה (לדוגמה פיקוח קליני ,פגישות צוות העובדים ,פגישות מועצת המנהלים) • בדיונים פורמליים 22 עצות מועילות נוספות למסירת דוח " תרגם" את הממצאים למתכונ(ו)ת שאפשר לחלוק אותה עם אחרים. חשוב על דיווח לקהלים פנימיים וחיצוניים. תכנן הכנת דוחות שונים. לפני שאתה מתחיל לכתוב ,הכן ראשי פרקים והעבר אותם לעיונם של אחדים מבעלי העניין. אם אתה מזמין דוח הערכה ,בקש לראות את ראשי הפרקים של הדוח מבעוד מועד. עיין בקפידה בדוחות ההערכה של אחרים ,וברר לעצמך מהם המרכיבים החשובים והמשמעותיים. 23 לפני שאתה מציג את ממצאיך ,השב על שאלות אלה האם ממצאיך משקפים במדויק את הנתונים שאספת? אילו אי-דיוקים עשויים להיות בפרשנותך לנתונים? האם ייתכן שלשיתוף אחרים בממצאים יהיו השלכות שלא התכוונת להן? האם חסרים קולות כלשהם או שהיו קולות שלא ניתנה להם הזדמנות להישמע? 24 צעדים לשיתוף בממצאים שקול היטב – הקדש זמן לשיחות עם אנשים הקרובים לעבודת ההערכה ואשר את הממצאים .בראש ובראשונה עליך להיות בטוח בממצאים בעצמך. צפה מראש – קבע כיצד ברצונך להשתמש בממצאים ואיזה ערך אפשר להפיק מהם לתכנית/לתהליך. בחן – לאחר שהממצאים יהיו בידך ,בחן אותם עם בעלי עניין עיקריים .הם ישפכו אור על ערך הממצאים כפי שהם רואים אותו. התאם – הכן מנגנון לשיתוף בתוצאות שיכול להעביר את המסר שברצונך להעביר לקהל שבחרת. מקד – סלק פרטים מיותרים והדגש את הממצאים העיקריים. אשרר – התרחק מעט מהעבודה וחזור אליה מאוחר יותר במבט רענן .שאל את עצמך" ,האם הממצאים תקפים עדיין?" דייק – בצע הגהה של הטיוטה הסופית .שגיאות עלולות להסיח את הדעת מהתוצאות. דווח – חלוק את התוצאות עם אחרים! .1 .2 .3 .4 .5 .6 .7 .8 25
© Copyright 2024