‫מבוא לסטטיסטיקה והסתברות א'‬ ‫בס"ד‪ ,‬ז' כסלו תשע"א‪ :‬שיעור ‪11‬‬ ‫התפלגות מותנית‪.pX|y (x, y) = pX,Y (x, y) /pY (y) :‬‬ ‫‪P‬‬ ‫תוחלת מותנית‪.E [X | Y = y] = x xpX|Y (x, y) ,E [X | A] = x xpX|A (x) :‬‬ ‫נוסחת התוחלת השלמה‪:‬‬ ‫‪Pn‬‬ ‫נתונים מאורעות זרים ‪ A1 , . . . , An‬המחלקים את ‪.E [X] = i=1 E [X | Ai ] P (Ai ) .Ω‬‬ ‫הוכחה‪:‬‬ ‫‪P‬‬ ‫‪P P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫] ‪E [X] = x xpX (x) = x x i P (Ai ) pX|Ai (x) = i P (Ai ) x xpX|Ai (x) = i P (Ai ) E [X | Ai‬‬ ‫‪P‬‬ ‫או‪.E [X] = ni=1 E [X | Ai ] P (Ai ) = E [E [X | Ai ]] :‬‬ ‫באותו אופן‪.E [E [X | Y ]] = E [X] ,‬‬ ‫דוגמא‪:‬‬ ‫כותבים תרגיל תכנות שוב ושוב עד שמצליחים בהסתברות ‪ ,p‬ב"ת בנסיונות קודמים‪ .‬מה תוחלת מספר הנסיונות?‬ ‫)‪ X ∼ Geo (p‬והתוחלת ‪ . p1‬נראה זאת שוב‪.‬‬ ‫נסמן ‪ .A0 = {X > 1} ,A1 = {X = 1}:‬אזי‪ .E [X] = E [X | A1 ] + E [X | X > 1] :‬ואז ‪,E [X | A1 ] = 1‬‬ ‫]‪.E [X | X > 1] = 1 + E [X‬‬ ‫)]‪E [X] = P (A1 ) E [X | A1 ] + P (A2 ) E [X | A2 ] = p + (1 − p) (1 + E [X‬‬ ‫ניתן להעביר אגפים ולקבל ‪.E [X] = p1‬‬ ‫באותו אופן ניתן לחשב את ] ‪ E [X 2‬לצורך השונות‪.‬‬ ‫משתנים מקריים בלתי תלויים‪:‬‬ ‫שני משתנים מקריים ‪ X, Y‬ייקראו בלתי תלויים אם )‪ PX,Y (x, y) = pX (x) pY (y‬לכל ‪.x, y‬‬ ‫דוגמא‪ :‬בכד ‪ 3‬כדורים ממוספרים ‪ 1, 2, 3‬מוציאים כדורים ללא החזרה‪X .‬־ המספר הראשון‪Y .‬־ המספר השני‪.‬‬ ‫‪P‬‬ ‫‪3‬‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫כבר ניתן לראות מ־)‪ (1, 1‬שהוא אפס שהוא לא מכפלת ההתפלגויות‪ .‬אבל דבר מעניין ־ הם תלויים‪ ,‬אבל‬ ‫ההתפלגות השולית שלהם שווה‪.‬‬ ‫מטילים מטבע פעמיים‪ 1 X .‬אם יצא עץ בראשון‪ 1 Y .‬אם יצא עץ בשני‪ .Z = X Y .‬האם ‪ Z‬תלוי ב‪ ?X‬לא‪.‬‬ ‫האם ‪ Z‬ב"ת ב־ ‪ X‬ו־ ‪ ?Y‬ברור שלא‪ ,‬אם כי לא הגדרנו אי תלות לשני משתנים‪.‬‬ ‫ננסה הגדרה‪ X, Y, Z :‬מ"מ נקראים ב"ת אם )‪ pX,Y,Z (x, y, z) = pX (x) pY (y) pZ (z‬לכל ‪ .x, y, z‬בעבר דרשנו‬ ‫הגדרה שתכלול את כל תת־הקבוצות‪ .‬מה כאן?‬ ‫משפט‪ :‬התנאי של אי תלות בשלשות גורר אי תלות בזוגות‪.‬‬ ‫הוכחה‪ :‬נתון ־ )‪ pX,Y,Z (x, y, z) = pX (x) pY (y) pZ (z‬לכל ‪ .x, y, z‬צ"ל )‪ pX,Z (x, z) = pX (x) pZ (z‬לכל‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪ .x, z‬אנו יודעים כי = )‪pX,Z (x, z) = y pX,Y,Z (x, y, z) = y pX (x) pY (y) pZ (z) = pX (x) pZ (z) y pY (y‬‬ ‫)‪pX (x) pZ (z) · 1 = pX (x) pZ (z‬‬ ‫דוגמא‪ :‬נניח ‪ X, Y‬משתנים גיאומטריים עם סיכוי הצלחה ‪ ,p‬ב"ת‪ ,‬מה ההתפלגות )‪?P (X = x | X + Y = n‬‬ ‫‪i−1‬‬ ‫‪n−2‬‬ ‫‪2‬‬ ‫)‪=n−i‬‬ ‫‪p(1−p)n−i−1‬‬ ‫)‪y (n−i‬‬ ‫‪ .P (X = i | X + Y = n) = P (x=i,Y‬הביטוי לא תלוי‬ ‫‪= pXP (i)p‬‬ ‫)‪= p(1−p)P (x+y=n‬‬ ‫)‪= pP (1−p‬‬ ‫)‪P (x+y=n‬‬ ‫)‪(x+y=n‬‬ ‫)‪(x+y=n‬‬ ‫‪1‬‬ ‫‪.P (X = i | X + Y = n) = n−1‬‬ ‫ב־ ‪ i‬ולכן הוא אחיד לכל ערך ‪ ,i‬ונקבל‬ ‫‪1‬‬ ‫ראינו שתוחלת של סכום משתנים מקריים היא סכום התוחלות‪ ,‬גם אם הם ב"ת‪ .‬אולם ישנם תופעות שתלויות באי‬ ‫תלות‪.‬‬ ‫למשל עבור ‪ X, Y‬ב"ת נקבל‪:‬‬ ‫‪P P‬‬ ‫‪P P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫] ‪.E [XY ] = x y pX,Y (x, y) = x y pX (x) pY (y) = x pX (x) y py (y) = E [X] E [Y‬‬ ‫משפט‪ :‬אם ‪ X, Y‬ב"ת אזי ) ‪.V ar (X + Y ) = V ar (X) + V ar (Y‬‬ ‫הוכחה‪:‬‬ ‫˜‬ ‫˜‬ ‫)]‪ .V ar (X + Y ) = V ar (X − E [X]h + iY − Eh[Y i‬נסמן ] ‪ .X = X − E [X] , Y = Y − E [Y‬מתקיים‬ ‫‪˜ = E Y˜ = 0‬‬ ‫‪ .E X‬טענה‪ :‬אם ‪ X, Y‬ב"ת‪ ,‬אזי ) ‪ g (X) , h (Y‬ב"ת‪.‬‬ ‫אזי‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫ ‪2‬‬ ‫ ‪2‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫˜‪˜ + Y‬‬ ‫‪˜ + Y˜ − E X‬‬ ‫˜‪˜ + Y‬‬ ‫˜‪˜ + Y‬‬ ‫‪˜ 2 + 2X‬‬ ‫= ‪˜ Y˜ + Y˜ 2‬‬ ‫‪V ar X‬‬ ‫‪= E X‬‬ ‫‪=E X‬‬ ‫‪=E X‬‬ ‫‪h i‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫‪h i‬‬ ‫‪h i‬‬ ‫‪h i h i‬‬ ‫‪h i‬‬ ‫‪˜ 2 + 2E X‬‬ ‫‪˜ Y˜ + E Y˜ 2 = E X‬‬ ‫‪˜ 2 + 2E X‬‬ ‫= ‪˜ E Y˜ + E Y˜ 2‬‬ ‫‪= E X‬‬ ‫‪h i‬‬ ‫‪h i‬‬ ‫ ‬ ‫ ‬ ‫‪2‬‬ ‫‪2‬‬ ‫˜‬ ‫˜‬ ‫˜‬ ‫˜‪= E X + E Y = V ar X + V ar Y‬‬ ‫‪P‬‬ ‫שונות של התפלגות בינומית‪ .X ∼ Bin (p, n) :‬נגדיר ‪ Xi‬הצלחה בניסוי ‪ .i‬אזי ‪Xi‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫)‪.V ar (X) = V ar ( i Xi ) = i V ar (Xi ) = i p (1 − p) = np (1 − p‬‬ ‫סיכום ־ משתנים מקריים בדידים‪:‬‬ ‫למה משתנים רציפים? מאפשר להשתמש במשפחות פשוטות יותר מאשר להעלות את רמת האפשרויות למשתנה‬ ‫הבדיד‪.‬‬ ‫לא נחזור על מה שהגדרנו במאורעות ־ דברנו כבר על מאורעות רציפים‪.‬‬ ‫´‬ ‫הגדרה‪ :‬מ"מ ‪ X‬ייקרא רציף אם קיימת פונקציה חיובית )‪ fX (x‬כך ש־ ‪ fX (x) .P (x ∈ B) = B fX (x) dx‬היא‬ ‫פונקצית צפיפות‪.‬‬ ‫‪i‬‬ ‫= ‪ .X‬ולכן‬ ‫‪ˆb‬‬ ‫= )]‪P (x ∈ [a, b‬‬ ‫)‪fX (x) dx = P (a < x ≤ b) = P (a < x < b‬‬ ‫‪a‬‬ ‫∞´‬ ‫כך ש ־ ‪fX (x) dx = 1‬‬ ‫∞‪´ −‬‬ ‫‪x+δ‬‬ ‫‪.P (x ∈ [x, x + δ]) = x fX (t) dt ≈ fX (x) · δ‬‬ ‫בס"ד‪ ,‬י"א כסלו תשע"א‪ :‬שיעור ‪ 12‬־ משתנים מקריים רציפים‬ ‫‪ˆx+δ‬‬ ‫= )‪P (x ≤ X ≤ x + δ‬‬ ‫)‪fX (t) dt ≈ fX (x‬‬ ‫‪x‬‬ ‫∞´‬ ‫כאשר )‪ fX (t‬פונקצית צפיפות אי שלילית‪ .‬ו־ ‪fX (x) dx = 1‬‬ ‫‪‬‬ ‫‪c 0 ≤ x ≤ 1‬‬ ‫= )‪ fX (x‬האם זוהי פונקצית צפיפות? כדי שהאינטגרל יהיה ‪ 1‬אין לי חופש בבחירת‬ ‫דוגמא‪:‬‬ ‫‪0 otherwise‬‬ ‫‪:c‬‬ ‫∞ˆ‬ ‫‪ˆ1‬‬ ‫‪ˆ1‬‬ ‫‪fX (x) dx = cdx = c dx = 1 ⇒ c = 1‬‬ ‫∞‪−‬‬ ‫‪0‬‬ ‫‪2‬‬ ‫‪0‬‬ ‫∞‪−‬‬ ‫‪a≤x≤b‬‬ ‫‪‬‬ ‫‪c‬‬ ‫= )‪ fX (x‬נקבל‬ ‫‪1‬‬ ‫‪b−a‬‬ ‫= ‪.c‬‬ ‫עבור‬ ‫‪0 otherwise‬‬ ‫איך ניתן לזהות ישר ש־)‪ fX (x‬אינה פונקצית ההסתברות עצמה? זה לא חייב להיות מוגבל ב־‪.1‬‬ ‫האם ראינו משתנה דיסקרטי שמוגדר על מספר אינסופי של מספרים שלמים? כן‪ ,‬זה לא הופך למשתנה רציף‪.‬‬ ‫משתנה רציף זה רק אם הגדרנו פונקצית צפיפות העונה על התנאים הבאים‪.‬‬ ‫‪2‬‬ ‫דוגמא‪ :‬זמן נסיעה לעבודה של משה מתפלג אחיד בין ‪ 15‬ל‪ 20‬דקות ביום שמש ‪ 3‬מהימים ובין ‪25‬־‪ 20‬דקות ביום‬ ‫הצפיפות?‬ ‫חורף‪ .‬מהי פונקציית ‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪c 20 < x < 25‬‬ ‫‪‬‬ ‫‪ 1‬‬ ‫‪ .fX (x) = c2 15 < x < 20‬נדרש כי‪:‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪0 otherwise‬‬ ‫‪ˆ25‬‬ ‫‪fX (x) dx‬‬ ‫‪ˆ20‬‬ ‫‪fX (x) dx +‬‬ ‫‪20‬‬ ‫∞ˆ‬ ‫= ‪fX (x) dx‬‬ ‫∞‪−‬‬ ‫‪15‬‬ ‫‪ˆ20‬‬ ‫‪2‬‬ ‫‪15‬‬ ‫= ‪dx = 5c1 ⇒ c1‬‬ ‫‪1‬‬ ‫‪15‬‬ ‫= ‪dx = 5c2 ⇒ c2‬‬ ‫‪15‬‬ ‫‪ˆ25‬‬ ‫‪2‬‬ ‫‪= c1‬‬ ‫‪3‬‬ ‫‪1‬‬ ‫‪= c2‬‬ ‫‪3‬‬ ‫‪20‬‬ ‫‪ˆ20‬‬ ‫= ‪fX (x) dx‬‬ ‫‪15‬‬ ‫‪ˆ25‬‬ ‫= ‪fX (x) dx‬‬ ‫‪20‬‬ ‫)קבועה( למקוטעין‪.‬‬ ‫פונקציה כזו נקראת אחידה ‪‬‬ ‫‪ √1‬‬ ‫‪´ 1 dx‬‬ ‫‪0<x≤1‬‬ ‫‪2 x‬‬ ‫= )‪ .fX (x‬האם זוהי פונקצית צפיפות? צריך לבדוק את האינטגרל‪√ = .‬‬ ‫דוגמא‪:‬‬ ‫‪0 2 x‬‬ ‫‪0‬‬ ‫‪otherwise‬‬ ‫√‬ ‫‪. x |10 = 1‬‬ ‫∞´‬ ‫ננסה להגדיר‪.E (X) = −∞ xfX (x) dx :‬‬ ‫‪´b‬‬ ‫‪´ b xdx‬‬ ‫‪1‬‬ ‫‪b2 −a2‬‬ ‫‪.E (X) = a b−a‬‬ ‫‪= b−a‬‬ ‫)‪xdx = 2(b−a‬‬ ‫‪= a+b‬‬ ‫כאשר ‪ X‬אחיד בין ‪ a‬ל‪:b‬‬ ‫‪2‬‬ ‫‪a‬‬ ‫∞´‬ ‫‪.E [g (X)] = −∞ g (x) fX (x) dx‬‬ ‫‬ ‫‬ ‫‪.V ar (X) = E (X − E [X])2‬‬ ‫‪‬‬ ‫‪λe−λx x > 0‬‬ ‫‪´ ∞ −λx‬‬ ‫∞ ‪−λx‬‬ ‫‪ 0 λe dx = −e‬זה‬ ‫= )‪ :fX (x‬זוהי צפיפות כי‪|0 = 1 :‬‬ ‫משתנה מקרי אקספוננציאלי‪:‬‬ ‫‪0‬‬ ‫‪x≤0‬‬ ‫נראה כמו פואסוני‪ ,‬אבל מתאים יותר לבעיות של זמן עד‪) ...‬כמו גיאומטרי בבדיד(‬ ‫‪1 −λx ∞ 1‬‬ ‫‪e‬‬ ‫=‬ ‫‪0‬‬ ‫‪λ‬‬ ‫‪λ‬‬ ‫∞ˆ‬ ‫‪−e−λx dx = 0 −‬‬ ‫‬ ‫∞‬ ‫‪xλe−λx dx = −xe−λx 0 −‬‬ ‫‪0‬‬ ‫∞ˆ‬ ‫== ]‪E [X‬‬ ‫‪0‬‬ ‫‪3‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪E [X] = 2‬‬ ‫‪λ‬‬ ‫‪λ‬‬ ‫∞ˆ‬ ‫= ‪2xe−λx dx‬‬ ‫∞‬ ‫‬ ‫‪dx = −x2 e−λx 0 +‬‬ ‫∞ˆ‬ ‫‪−λx‬‬ ‫‪2‬‬ ‫‪x λe‬‬ ‫‪0‬‬ ‫‪ 2‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪= 2‬‬ ‫‪λ‬‬ ‫‪λ‬‬ ‫ ‬ ‫= ‪E X2‬‬ ‫‪0‬‬ ‫ ‬ ‫‪2‬‬ ‫‪V ar (X) = E X 2 − E 2 [X] = 2 −‬‬ ‫‪λ‬‬ ‫‪ ‬מצטברת‪Cumulative Distribution Function :‬‬ ‫פונקציית התפלגות‬ ‫‪P‬‬ ‫)‪pX (k‬‬ ‫‪ FX (x) = P (x ≤ x) = ´ xk≤x‬אזי )‪ .P (20 ≤ X ≤ 25) = FX (25) − FX (20‬ומתקיים מההגדרה‬ ‫‪‬‬ ‫‪f (t) dt‬‬ ‫‪−∞ X‬‬ ‫)‪fX (x) = dFdxX (x‬‬ ‫תכונות‪:‬‬ ‫‪ 0 ≤ FX (x) ≤ 1 .1‬לכל ‪.x‬‬ ‫‪ .2‬מקרה דיסקרטי ־ רציפה למקוטעין‪.‬‬ ‫‪ .3‬מקרה רציף ־ רציפה‪.‬‬ ‫‪ .4‬מונוטונית לא יורדת‪.‬‬ ‫נגדיר מ"מ )‪ .0 ≤ Y ≤ 1 Y = FX (x‬אזי‪:‬‬ ‫‬ ‫‬ ‫‬ ‫‪FY (y) = P (Y ≤ y) = P (FX (x) ≤ y) = P FX−1 (FX (x)) ≤ FX−1 (y) = P X ≤ FX−1 (y) = FX FX−1 (y) = y‬‬ ‫קבלנו ‪ FY (y) = y‬עבור ‪ ,0 ≤ y ≤ 1‬ולכן )‪.Y ∼ U (0, 1‬‬ ‫מסקנה‪ :‬ההתפלגות המצטברת היא תמיד אחידה‪.‬‬ ‫בס"ד‪ ,‬י"ד כסלו תשע"א‪ :‬שיעור ‪13‬‬ ‫משתנה מקרי נורמלי סטנדרטי‬ ‫‪1 − 21 x2‬‬ ‫‪e‬‬ ‫‪ fX (x) = 2π‬לכל ‪) .x ∈ R‬תרגול‪ :‬הוכח שזו הסתברות(‪.‬‬ ‫תוחלת‪ :‬זוהי פונקציה זוגית ולכן התוחלת חייבת להיות ‪= 0 .0‬‬ ‫‬ ‫∞‬ ‫∞ˆ‬ ‫‪1 − 1 x2‬‬ ‫‪−1 − 1 x2‬‬ ‫‪1 − 1 x2‬‬ ‫‪x‬‬ ‫‪+‬‬ ‫= ‪e 2 dx‬‬ ‫‪xe 2‬‬ ‫‪e 2 dx = 0+1 = 1‬‬ ‫‪2π‬‬ ‫‪2π‬‬ ‫‪2π‬‬ ‫∞‪−‬‬ ‫∞‪i‬‬ ‫∞‪−‬‬ ‫= ‪x 1 e− 2 x dx‬‬ ‫‪−∞ 2π‬‬ ‫∞ˆ‬ ‫‪2‬‬ ‫∞‪−‬‬ ‫‪1 2‬‬ ‫‪−e− 2 x‬‬ ‫‪h‬‬ ‫‪1‬‬ ‫‪2π‬‬ ‫‪1 2‬‬ ‫∞´‬ ‫ ‬ ‫ ‬ ‫= ‪V ar [X] = E X 2 −E 2 [X] = E X 2‬‬ ‫∞‪−‬‬ ‫‪(x−µ)2‬‬ ‫‪1‬‬ ‫‪ .fX (x) = √2πσ‬עם שני פרמטרים ‪.µ, σ 2‬‬ ‫משתנה מקרי נורמלי ‪e− 2σ2‬‬ ‫‪2‬‬ ‫‪ .Y = x−µ‬נניח כי ‪ Y‬נורמלי סטנדרטי‪ .‬אזי‬ ‫נגדיר משתנה מקרי‬ ‫‪σ‬‬ ‫‪E [X] = E [σY + µ] = σE [Y ] + µ = 0 + µ = µ‬‬ ‫‪ µ‬אם כן קובע את התוחלת‪ .‬ו־ ‪.V ar (X) = V ar (σY + µ) = V ar (αY ) = σ 2 V ar (Y ) = σ 2‬‬ ‫לא נוכיח כעת כי ‪ Y‬נורמלי סטנדרטי‪ ,‬תרגיל טוב לבית‪ ,‬ושבוע הבא נלמד להוכיח בצורה קלה יותר‪.‬‬ ‫‪4‬‬ ‫= ]‪.E [X‬‬ ‫התפלגות משותפת‪:‬‬ ‫¨‬ ‫= )‪P ((X, Y ) ∈ B‬‬ ‫‪fX,Y (x, y) dxdy‬‬ ‫‪x,y∈B‬‬ ‫‪ˆx+δ ˆy+δ‬‬ ‫= )‪P (x ≤ X ≤ x + δ, y ≤ Y ≤ y + δ‬‬ ‫‪fX,Y (s, t) dtds‬‬ ‫‪x‬‬ ‫‪y‬‬ ‫)‪P (x≤X≤x+δ,y≤Y ≤y+δ‬‬ ‫‪δ2‬‬ ‫כאשר ‪ δ‬קטן זה שווה ל־ ‪ .f (x, y) · δ 2‬ולכן‬ ‫התפלגות שולית‪:‬‬ ‫∞´ ´‬ ‫´‬ ‫‪P (x ∈ A) = P ({x ∈ A} ∩ {Y ∈ (−∞, ∞)}) = A −∞ fX,Y (x, y) dydx = fX (x) dx‬‬ ‫∞´‬ ‫ולכן ‪fX (x) = −∞ fX,Y (x, y) dy‬‬ ‫דוגמא‪ :‬המחט של בופון )‪(1777‬‬ ‫נניח שיש לנו משטח מרוצף בפסי עץ באורך ‪ .d‬לוקחים מקל באורך ‪ l‬על המשטח‪ ,‬מה הסיכוי שהמקל )באגט(‬ ‫יפגע באחד הקוים? נניח ‪ .l < d‬נסמן ‪ θ‬את הזוית בין המחט לאחד הקוים‪ X .‬־ המרחק בין מרכז המקל לקו הקרוב‪.‬‬ ‫אם ‪ X ≤ 2l sin θ‬אזי יש חציה‪.‬‬ ‫‪π‬‬ ‫‪π‬‬ ‫זוהי הצפיפות לנקודה זו‪.‬‬ ‫‪π‬‬ ‫‪ˆ2 lˆsin θ‬‬ ‫‪ˆ2‬‬ ‫‪ˆ2‬‬ ‫‪4‬‬ ‫‪2l‬‬ ‫‪4‬‬ ‫‪l‬‬ ‫‪2l‬‬ ‫= ‪dxdθ‬‬ ‫= ‪sin θdθ‬‬ ‫= ‪fX,Θ (x, θ) dxdθ‬‬ ‫= ‪sin θdθ‬‬ ‫‪πd‬‬ ‫‪πd‬‬ ‫‪2‬‬ ‫‪πd‬‬ ‫‪πd‬‬ ‫‪0‬‬ ‫נגדיר‬ ‫‪0‬‬ ‫ ‬ ‫‬ ‫‬ ‫‪x ∈ 0, d2 , θ ∈ 0, π2‬‬ ‫‪0‬‬ ‫‪4‬‬ ‫‪πd‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪0‬‬ ‫ˆ‬ ‫ˆ‬ ‫‬ ‫=‬ ‫‪l‬‬ ‫‪sin θ‬‬ ‫‪2‬‬ ‫‬ ‫≤‪X‬‬ ‫‪P‬‬ ‫‪X≤ 2l sin θ‬‬ ‫= )‪fX,Θ (x, θ‬‬ ‫‪0‬‬ ‫התפלגות מותנית‬ ‫פונקצית )‪ fX|A (x‬חיובית המקיימת ‪ P (X ∈ C | A) = C´fX|A (x) dx‬לכל ‪ ,B‬תיקרא פונקציית צפיפות מותנית‪.‬‬ ‫‪fX (x)dx‬‬ ‫‪= A∩B‬‬ ‫מקרה פרטי‪ :‬מתנים על ‪ X ∈ A‬אזי‬ ‫)‪ ,P (X ∈ B | X ∈ A) = P (x∈B∩x∈A‬ונקבל‬ ‫)‪P (x∈A‬‬ ‫)‪P (x∈A‬‬ ‫‪‬‬ ‫)‪ fX (x‬‬ ‫‪x∈A‬‬ ‫)‪fX|A (x) = P (X∈A‬‬ ‫‪0‬‬ ‫בס"ד‪ ,‬י"ח כסלו תשע"א‪ :‬שעור ‪14‬‬ ‫´‬ ‫• צריך לדעת‪:‬‬ ‫‪´b‬‬ ‫‪2‬‬ ‫• ‪ a xe−x dx‬צריך לפתור די מהר‪.‬‬ ‫‬ ‫– אינטרגרל כפול‪f (x, y) dx dy :‬‬ ‫• הגדרנו התפלגות מותנה‬ ‫‪x∈A‬‬ ‫´ ´‬ ‫)‪fx (x‬‬ ‫)‪P (x∈A‬‬ ‫‪‬‬ ‫‪‬‬ ‫־ כמו סכימה כפולה‪.‬‬ ‫= )‪.fX|{x∈A} (x‬‬ ‫‪0‬‬ ‫– דוגמא‪ :‬הזמן עד שנורה נשרפת ‪ X‬מתפלג אקספוננציאלי עם פרמטר ‪ .λ‬משה מדליק את האור‪ ,‬יוצא‬ ‫מהחדר‪ ,‬וחוזר לאחר זמן ‪ t‬ורואה שהאור עדיין דלוק‪ .‬חשב את )‪.fX|x≥t (x‬‬ ‫)‪= λe−λ(x−t) = fX (x − t‬‬ ‫‪λe−λx‬‬ ‫‪e−λt‬‬ ‫‪−λx‬‬ ‫‪λe‬‬ ‫‪= 1−F‬‬ ‫=‬ ‫)‪X (t‬‬ ‫‪5‬‬ ‫‪λe−λx‬‬ ‫)‪1−P (x<t‬‬ ‫=‬ ‫)‪fX (x‬‬ ‫)‪P (x≥t‬‬ ‫= )‪.fX|x≥t (x‬‬ ‫)‪(x,y‬‬ ‫‪f‬‬ ‫‪ fX|Y (x | y) = X,Y‬למה זוהי פונקצית צפיפות? כי כשעוברים ‪ ,x‬המכנה הוא קבוע‪ ,‬והמונה הוא צפיפות‬ ‫•‬ ‫)‪fY (y‬‬ ‫שולית של ‪ ,y‬ולכן שווה לאחד‪.‬‬ ‫– דוגמא‪ :‬משה זורק חץ על מטרה עגולה עם רדיוס ‪ .r‬נניח שהוא תמיד פוגע‪ ,‬ובאופן אחיד‪ .‬המטרה‪:‬‬ ‫להגדיר התפלגויות‪.‬‬ ‫‪‬‬ ‫‪ 1 x2 + y 2 < r 2‬‬ ‫‪2‬‬ ‫‪.fX,Y (x, y) = πr‬‬ ‫∗ התפלגות משותפת‪:‬‬ ‫‪0‬‬ ‫∗ התפלגות שולית‪:‬‬ ‫‪p‬‬ ‫‪2 r2 − y 2‬‬ ‫‪dx‬‬ ‫=‬ ‫‪πr2‬‬ ‫‪πr2‬‬ ‫√‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪ˆr −y‬‬ ‫= )‪fY (y‬‬ ‫‪r2 −y 2‬‬ ‫הצפיפות של ‪ y‬היא לא אחידה‪.‬‬ ‫‪‬‬ ‫‪ √1‬‬ ‫‪x2 ≤ r 2 − y 2‬‬ ‫‪1‬‬ ‫‪2 −y 2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪r‬‬ ‫‪πr‬‬ ‫= ‪(x | y) = 1 √ 2 2‬‬ ‫∗‬ ‫‪2 r −y‬‬ ‫‪‬‬ ‫‪πr 2‬‬ ‫‪0‬‬ ‫יש פיזור אחיד של ‪.x‬‬ ‫√‬ ‫‪−‬‬ ‫‪ .fX|Y‬זוהי צפיפות אחידה מאחר ובהינתן ‪y‬‬ ‫´‬ ‫• נגדיר ‪ .P (x ∈ A | Y = y) = A fX|Y (x | y) dx‬כמו שהגדרנו הסתברות של מאורע‪ .‬כאן ניתן להתנות על‬ ‫מאורע שהסיכוי שלו אפס‪ ,‬כי יש צפיפות אם נרחיב עם ‪.δ‬‬ ‫• ‪xfX|A (x) dx‬‬ ‫∞´‬ ‫∞‪−‬‬ ‫= ]‪.E [X | A‬‬ ‫‪P‬‬ ‫– משפט‪ E [X] = nx=1 P (Ai ) E [X | Ai ] :‬עבור ‪ A1 , . . . , An‬חלוקה של ‪.Ω‬‬ ‫‪‬‬ ‫‪pλe−λx‬‬ ‫‪x>0‬‬ ‫= )‪ fX (x‬עבור ‪ .0 ≤ p ≤ 1‬אזי‬ ‫∗ דוגמא‪:‬‬ ‫‪(1 − p) eλx x ≤ 0‬‬ ‫)‪ .E [X] = E [X | X > 0] P (X > 0) + E [X | x ≤ 0] P (X ≤ 0‬נשים לב כי‬ ‫‪´ ∞ −λx‬‬ ‫‪2p−1‬‬ ‫‪ .E [X] = λp − 1−p‬לחישוב השונות‪ ,‬נשתמש‬ ‫=‬ ‫ולכן‬ ‫‪,P‬‬ ‫‪(X‬‬ ‫>‬ ‫)‪0‬‬ ‫=‬ ‫‪p‬‬ ‫‪λe‬‬ ‫‪=p‬‬ ‫‪λ‬‬ ‫‪λ‬‬ ‫‪0‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫ב־]‪ E [X ] = P (X ≥ 0) E [X | X ≥ 0] + P (X < 0) E [X | X < 0‬ואת זה חישבנו בעבר‪.‬‬ ‫• הגדרה‪ :‬שני משתנים הם בלתי תלויים עם )‪ fX,Y (x, y) = fX (x) fY (y‬לכל ‪.x, y‬‬ ‫)‪.fX|Y (x | y) = fX (x‬‬ ‫– אם ‪ X, Y‬ב"ת אזי‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫ˆ‬ ‫ˆ ˆ‬ ‫= ‪ fX,Y (x, y) dy  dx =  fX (x) fY (y) dy  dx‬‬ ‫‪B‬‬ ‫ˆ‬ ‫= )‪P (x ∈ A ∩ y ∈ B‬‬ ‫‪‬‬ ‫‪A B‬‬ ‫ˆ‬ ‫ˆ‬ ‫‪‬‬ ‫)‪fY (y) dy  = P (X ∈ A) P (x ∈ A‬‬ ‫=‬ ‫‪fX (x) dx‬‬ ‫‪B‬‬ ‫במיוחד עבור ‪ B = Y < b ,A = X < a‬זוהי התפלגות מצטברת‪.‬‬ ‫‪6‬‬ ‫אפשר לדבר על‬ ‫‪A‬‬ ‫‪A‬‬ ‫– משפט‪ E [g (x) h (y)] = E [g (X)] E [h (Y )] 6= g (E [X]) h (E [Y ]) :‬ונקבל שוויון רק בליניארי‪.‬‬ ‫– דוגמא‪ :‬בהתקפת קניות מבקרים במספר מקרי ‪ N‬של חנויות נתון ] ‪E [N‬ובחנות ה־‪ i‬מבזבזים סכום מקרי‬ ‫‪P‬‬ ‫‪ Xi‬בתוחלת ]‪ .E [X‬נגדיר ‪ Xi .T = ni=1 Xi‬ב"ת זב"ז וב־ ‪ .N‬מה התוחלת של ‪?T‬‬ ‫‪P‬‬ ‫∗ ]‪ .E [T | N = n] = ni=1 E [X] = nE [X‬ולכן‬ ‫] ‪npN (n) = E [X] E [N‬‬ ‫∞‬ ‫‪X‬‬ ‫]‪pN (n) nE [X] = E [X‬‬ ‫‪n=1‬‬ ‫∞‬ ‫‪X‬‬ ‫= ]‪pN (n) E [T | N = n‬‬ ‫‪n=1‬‬ ‫∞‬ ‫‪X‬‬ ‫= ] ‪E [T‬‬ ‫‪n=1‬‬ ‫בינתיים לא השתמשנו באי התלות‪ ,‬אבל בשונות נצטרך להשתמש בה )לא נבצע בשיעור(‪.‬‬ ‫• נוסחת בייס‪:‬‬ ‫)‪fY |X (y|x)fX (x‬‬ ‫)‪fY (y‬‬ ‫= )‪.fX|Y (x | y‬‬ ‫)‪P (y ≤ Y ≤ y + δ | A) P (A‬‬ ‫=‬ ‫‪δ→0‬‬ ‫‪δ→0‬‬ ‫)‪P (y ≤ Y ≤ y + δ‬‬ ‫)‪fY |A (y) · δ · P (A‬‬ ‫)‪fY |A (y) P (A‬‬ ‫=‬ ‫‪= lim‬‬ ‫‪δ→0‬‬ ‫‪fY (y) δ‬‬ ‫)‪fY (y‬‬ ‫‪P (A | Y = y) = lim P (A | y ≤ Y ≤ y + δ) = lim‬‬ ‫כשמתנים על מאורע מסוים מרחיבים לסביבה של ‪ ,δ‬ואח"כ זה נעלם‪.‬‬ ‫– לנסות בבית‪fY |A (y) :‬‬ ‫בס"ד‪ ,‬כ"א כסלו תשע"א‪ :‬שיעור ‪15‬‬ ‫‪P‬‬ ‫• תיקון טעות‪ :‬בדוגמת החנויות הגדרנו ‪ T = n Xn‬ואז המשכנו‬ ‫‪P‬‬ ‫‪P‬‬ ‫= ]‪ E [T | N = n] = E [ Xi | N = n‬־ במעבר האחרון השתמשנו באי‬ ‫ל־ ]‪E [Xi | N = n] = nE [X‬‬ ‫תלות‪.‬‬ ‫• דברנו על חוק בייס‪ ,‬וכעת נדגים‪ :‬אות בינארי ‪ ,S‬כאשר ‪ .pS (1) = p‬האות עובר מ־‪ S‬למשדיר‪ .‬נוסף‬ ‫‪1 2‬‬ ‫לו שם רעש ‪ N‬שמתפלג באופן נורמלי סטנדרטי‪ ,‬וב"ת ב־‪ .PS|Y .S‬נוסחת ‪ .fN (n) = √12π e− 2 n‬אזי‬ ‫‪(y−1)2‬‬ ‫‪2‬‬ ‫‪y2‬‬ ‫‪2‬‬ ‫‪p· √1 e−‬‬ ‫‪+(1−p)· √1 e−‬‬ ‫‪2π‬‬ ‫‪2π‬‬ ‫‪(y−1)2‬‬ ‫‪−‬‬ ‫‪2‬‬ ‫‪e‬‬ ‫=‬ ‫‪p· √1‬‬ ‫)‪fY |S=1 (y)P (S=1‬‬ ‫)‪fY |S=1 (y)P (S=1)+fY |S=0 (y)P (S=0‬‬ ‫=‬ ‫)‪fY |S=1 (y)P (S=1‬‬ ‫)‪fY (y‬‬ ‫= )‪.P (S = 1 | Y = y‬‬ ‫‪2π‬‬ ‫• טרנספורמציות‬ ‫נניח )‪ Y = g (X‬למשל‪:‬‬ ‫‪x−µ‬‬ ‫‪σ‬‬ ‫= ‪ .Y‬באופן כללי‪ :‬נתון )‪ ,fX (x‬רוצים את )‪.fY (y‬‬ ‫´‬ ‫‪ .1‬נחשב את ‪.FY (y) = P (Y ≤ y) = P (g (X) ≤ y) = x:g(x)≤y fX (x) dx‬‬ ‫הסתברות‪ ,‬החוקים שלמדנו על פונקציות כאלו תקפות‪.‬‬ ‫‪ .2‬נחשב‬ ‫)‪dFY (y‬‬ ‫‪dy‬‬ ‫מאחר וזו פונקצית‬ ‫= )‪.fY (y‬‬ ‫√‬ ‫– דוגמא‪x ,X ∼ [0, 1] :‬‬ ‫= ‪ ,Y‬נקבל עבור ‪,0 ≤ y ≤ 1‬‬ ‫‬ ‫‬ ‫‪x < y = P x < y2 = y2‬‬ ‫√‬ ‫‪FY (y) = P (g (X) ≤ y) = P‬‬ ‫)כבר ראינו כי ‪ .(P (X < a) = a‬ולכן נקבל ‪ fY (y) = 2y‬בתחום ‪ .0 < y < 1‬נבדוק כי זו צפיפות‬ ‫‪´1‬‬ ‫‪1‬‬ ‫חוקית‪. 0 2ydy = [y 2 ]0 = 1 :‬‬ ‫‪7‬‬ ‫– דוגמא‪ .Y = g (X) = X 2 :‬נתון )‪ ,fX (x‬וגם )‪ FX (x‬אזי‬ ‫‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫)‪FY (y) = P X 2 < y = P (− y < X < y) = FX ( y) − FX (− y‬‬ ‫√‬ ‫√‬ ‫) ‪fX ( y‬‬ ‫) ‪fX ( − y‬‬ ‫‪√ d−√y‬‬ ‫‪√ d√y‬‬ ‫‪ .fY (y) = fX‬אם הטווח של ‪ X‬מוגבל‬ ‫ומכאן ש־ ‪y dy − fX − y dy = 2√y + 2√y‬‬ ‫צריך לקחת את זה בחשבון‪ .‬זה לא תקף עבור ‪ ,y = 0‬אבל כל עוד מדובר במספר סופי של נקודות אפשר‬ ‫להוציא אותם‪ .‬השורש מגביל אותנו ל־‪ ,y > 0‬אבל זה נתון מההגדרה של ‪.Y = X 2‬‬ ‫– נתון )‪ Y = g (X‬מונוטוני ממש‪ .‬נניח עבור מונוטונית יורדת ‪ ,g 0 (X) < 0‬ועבור מונוטונית עולה‬ ‫‪ g 0 (X) > 0‬לכל ‪.x‬‬ ‫מונוטוני יורד‪ FY (y) = P (g (X) < y) = P (X > g −1 (y)) = 1 − FX (g −1 (y)) :‬ולכן‬ ‫– עבור ‪ −1‬‬ ‫‬ ‫‬ ‫)‪dg −1 (y‬‬ ‫‪−1‬‬ ‫‪−1‬‬ ‫)‪ ,fY (y) = −fX (g (y)) dy (y) = fX (g (y)) dg dy(y) (y‬והנוסחא האחרונה עם הערך המוחלט‬ ‫נכונה גם למונוטונית עולה‪.‬‬ ‫‪Y −µ‬‬ ‫‪σ‬‬ ‫‪1 2‬‬ ‫‪√1 e− 2 x‬‬ ‫‪2π‬‬ ‫– נחזור לדוגמא‪= g −1 (y) :‬‬ ‫‪1 y−µ 2‬‬ ‫‪ fY (y) = √12π e− 2 ( σ ) · σ1‬וזוהי הנוסחא שרשמנו למשתנה נורמלי לא סטנדרטי‪ E [Y ] = µ .‬ו־‬ ‫‪.V ar (Y ) = σ 2‬‬ ‫= ‪ ,X‬אזי ‪ ,g (X) = σX + µ‬נזכור כי‬ ‫= )‪ fX (x‬אזי‬ ‫• קשר בין ‪ X‬ל־ ‪.Y‬‬ ‫מהתפלגות משותפת ניתן להגיע להתפלגות שולית‪ ,‬או מותנה וכד'‪ ,‬אבל הרבה פעמים זה לא נוח‪ .‬ננסה לקשר‬ ‫באופן הבא‪:‬‬ ‫– דוגמא‪ :‬נניח כי ציר ה־‪ x‬מייצג את ]‪ ,X − E [X‬וציר ה־‪ y‬יהיה ] ‪ .Y − E [Y‬אם יש לי תצפית שתוצאתה‬ ‫ברבע הראשון )מעל הממוצע של שניהם(‪ ,‬יש לי נטיה לומר שהם תלויים זה בזה‪ .‬למשל‪ :‬בקוביה ‪X‬־‬ ‫המספר שיוצא‪Y ,‬־ המספר שיוצא‪ .1+‬הישר שנקבל יהיה ‪ .y = x‬באופן דומה אם התוצאה ברבע השלישי‪.‬‬ ‫אם יש תוצאה ברבע השני או הרביעי נקבל יחס הפוך בין ‪ X‬ל־ ‪.Y‬‬ ‫– באופן כללי נגדיר מדד של ])] ‪ cov (X, Y ) = E [(X − E [X]) (Y − E [Y‬נקרא ‪ covariance‬או שונות‬ ‫משותפת‪ .‬זוהי תוחלת על שני משתנים מקריים‪ ,‬כלומר סכום כפול או אינטגרל כפול‪ ,‬אבל נשאיר את זה‬ ‫באופן כללי‪.‬‬ ‫– אם ‪ cov (X, Y ) = 0‬אז ‪X‬ו־ ‪ Y‬נקראים בלתי מתואמים‪.‬‬ ‫– ] ‪cov (X, Y ) = E [XY ] − E [E [X] Y ] − E [E [Y ] X] + E [E [X] E [Y ]] = E [XY ] − E [X] E [Y‬‬ ‫– אם ‪ X, Y‬ב"ת אז ] ‪ E [XY ] = E [X] E [Y‬ולכן ‪ cov (X, Y ) = 0‬והם בלתי מתואמים‪.‬‬ ‫– הכיוון ההפוך לא נכון‪ :‬אם יש לנו ‪ 4‬מאורעות בהסתברות רבע של )‪ ,(1, 0) , (−1, 0) , (0, 1) , (0, −1‬הם‬ ‫לא ב"ת כי ‪ ,P (Y = 1 | X = 1) = 0‬אבל ההסתברות של )‪ P (Y = 1‬היא ‪ . 14‬האם בלתי מתואמים?‬ ‫‪ .E [X] = E [Y ] = 0‬מה אפשר לומר על ‪ XY‬לכל ערך אפשרי? אפס‪ ,‬ולכן ‪ ,E [XY ] = 0‬בסה"כ‬ ‫‪.cov (X, Y ) = E [XY ] − E [X] E [Y ] = 0‬‬ ‫• מקדם מיתאם‪:‬‬ ‫– ‪≤1‬‬ ‫) ‪cov(X,Y‬‬ ‫) ‪V ar(X)V ar(Y‬‬ ‫√ = ) ‪−1 ≤ ρ (X, Y‬‬ ‫‪8‬‬ ‫בס"ד‪ ,‬כ"ה כסלו תשע"א‪ :‬שיעור ‪16‬‬ ‫• דוגמא‪ :‬בכד יש ‪ 3‬כדורים ממוספרים ‪ .1,2,3‬מוציאים ‪ 2‬כדורים ללא החזרה‪X .‬־ מספר הכדור הראשון‪.‬‬ ‫‪Y‬־מספר הכדור השני‪ ,X ∼ U (1, 3) .‬ולכן ‪ .E [X] = 2‬נחשב את‬ ‫‪1‬‬ ‫‪1 1 1 1‬‬ ‫= · ‪· +‬‬ ‫‪2 3 2 3‬‬ ‫‪3‬‬ ‫‪pY (y) = pY |X=1 (y) pX (1) + pY |X=2 (y) pX (2) = pY |X=3 (y) pX (3) = 0 +‬‬ ‫ולכן ‪ X, Y‬שווי התפלגות‪ .‬ולכן גם ‪.E [Y ] = 2‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫= ) ‪.V ar (X) = V ar (Y‬‬ ‫נחשב את‬ ‫= ‪cov (X, Y ) = E [(X − E [X]) (Y − E [Y ])] = E [XY ] − E [X] E [Y ] = E [XY ] − 2 · 2‬‬ ‫‪XX‬‬ ‫‪XX‬‬ ‫‪11‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫=‬ ‫= ‪xy · pX,Y (x, y) − 4‬‬ ‫‪−4=−‬‬ ‫= · ‪xy‬‬ ‫‪6‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪x‬‬ ‫‪y‬‬ ‫‪x y6=x‬‬ ‫‪1‬‬ ‫‪−‬‬ ‫מקדם המיתאם‪= √ 23 2 = − 12 :‬‬ ‫·‬ ‫‪3 3‬‬ ‫) ‪cov(X,Y‬‬ ‫√ = ) ‪.ρ (X, Y‬‬ ‫) ‪V ar(X)V ar(Y‬‬ ‫• מטרה‪ :‬נניח שרוצים למדל את הקשר בין ‪ X‬ל־ ‪ Y‬בעזרת קו ‪ .Y = aX + b‬מטרה פורמלית‪ :‬נסתכל על‬ ‫)‪ min V ar (Y − aX − b‬שזוהי הטעות של המודל‪ .‬זה שווה ל־ )‪ , min V ar (Y − aX‬ואח"כ נכניס את ‪b‬‬ ‫ˆ‪.‬‬ ‫המתאים‪ .‬אנחנו מחפשים )‪a = arg min V ar (Y − aX‬‬ ‫‬ ‫‬ ‫= ‪V ar (Y − aX) = E ((Y − E [Y ]) − a (X − E [X]))2‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫= ‪= E (Y − E [Y ])2 − 2aE [(X − E [X]) (Y − E [Y ])] + a2 E (X − E [X])2‬‬ ‫הפונקציה תגיע למינימום בנקודה‬ ‫) ‪std(Y‬‬ ‫)‪std(X‬‬ ‫)‪= C − a (2cov (X, Y )) + a2 V ar (x‬‬ ‫‪q‬‬ ‫) ‪V ar(Y‬‬ ‫)‬ ‫=‬ ‫‪ρ‬‬ ‫‪(X,‬‬ ‫‪Y‬‬ ‫)‬ ‫·‬ ‫· ) ‪= ρ (X, Y‬‬ ‫ˆ‪.‬‬ ‫‪a = cov(X,Y‬‬ ‫)‪V ar(X‬‬ ‫)‪V ar(X‬‬ ‫• דוגמא‪ n :‬הטלות עם סיכוי ‪ p‬לראש‪X .‬־ מספר הראשים‪Y .‬־ מספר הזנבות‪ .‬אזי ‪ ,Y = n − X‬ואנו מצפים‬ ‫שהשונות המשותפת תהיה שלילית‪ ,E [X] + E [Y ] = n ,‬וגם ‪ ,X + Y = n‬ולכן‬ ‫)‪ .(X − E [X]) (Y − E [Y ]) = − (X − E [X])2 = −V ar (X‬נזכור כי‬ ‫)‪V ar (Y ) = V ar (n − X) = V ar (−X) = (−1)2 V ar (X) = V ar (X‬‬ ‫ולכן מקדם המיתאם יהיה ‪= −1‬‬ ‫)‪−V ar(X‬‬ ‫) ‪V ar(X)V ar(Y‬‬ ‫√ = ) ‪ .ρ (X, Y‬לכן בפונקציה ליניארית אם המקדם של ‪X‬‬ ‫בפונקציה של ‪ Y‬מקדם המיתאם הוא ‪1‬־‪ ,‬ואם הוא חיובי מקדם המיתאם הוא ‪) .1‬תרגיל עבור מקדם שונה מ‪.(1‬‬ ‫• = )] ‪cov (aX + b, cY + d) = E [(aX + b − E [aX + b]) (cY + d − E [cY + d])] = a (X − E [X]) c (Y − E [Y‬‬ ‫) ‪.ac · cov (X, Y‬‬ ‫‬ ‫‬ ‫– נשים לב כי )‪ cov (X, X) = E (X − E [X])2 = V ar (X‬ולכן ‪.ρ (X, X) = √V ar(X) 2 = 1‬‬ ‫)‪V ar(X‬‬ ‫– התופעה גורמת לכך שאם ננפח את המשתנים ננפח גם את השונות המשותפת‪ ,‬אבל מקדם המתאם‪:‬‬ ‫)‬ ‫‪ac‬‬ ‫‪ .ρ (aX + b, cY + d) = q ac·cov(X,Y‬כלומר הוא שומר‬ ‫|‪= |ac‬‬ ‫)‪ρ (X, Y ) = ρ (X, Y ) · sign (ac‬‬ ‫√‬ ‫) ‪c2 V ar(Y‬‬ ‫על הערך עד כדי הפיכה לשלילי‪.‬‬ ‫‪9‬‬ ‫)‪a2 V ar(X‬‬ ‫•‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫= ‪V ar (X + Y ) = E (X + Y − E [X + Y ])2 = E ((X − E [X]) + (Y − E [Y ]))2‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫= ])] ‪= E (X − E [X])2 + E (Y − E [Y ])2 + 2E [(X − E [X]) (Y − E [Y‬‬ ‫) ‪= V ar (X) + V ar (Y ) + 2cov(X, Y‬‬ ‫המשמעות היא שאם השונות המשותפת היא חיובית‪ ,‬נקבל בחיבור ניפוח של השונות‪ ,‬ואם היא שלילית היא‬ ‫תצמצם אותה‪ .‬במקרה שהם בלתי מתואמים‪ ,‬סכום השונויות שווה לשונות הסכום )נזכור כי ב"ת הם גם בלתי‬ ‫מתואמים(‪.‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫• ) ‪ ,V ar (X1 + . . . + Xn ) = ni=1 V ar (Xi ) + i6=j cov (Xi , Xj‬ההוכחה עוברת‬ ‫דרך )‪ cov (X + Y, Z) = cov (X, Z) + cov (Y, Z‬ומשם ניתן להמשיך באינדוקציה‪.‬‬ ‫• דברנו על ]‪ ,E [X | Y = y‬נדבר באופן כללי על ] ‪ E [X | Y‬־ זה משתנה מקרי שהוא פונקציה של ‪.Y‬‬ ‫– דוגמא‪ n :‬הטלות‪ ,‬כך שההסתברות לראש היא )‪.E [X | Y = y] = yn .X ∼ Bin (y, n) .Y ∼ (0, 1‬‬ ‫לכן ‪.E [X | Y ] = Y · n‬‬ ‫´‪‬‬ ‫‪ ∞ E [X | Y = y] f (y) dy‬‬ ‫‪Y‬‬ ‫∞‪−‬‬ ‫‪ E [E [X | Y ]] = P‬מנוסחת‬ ‫– נוכל לדבר על התוחלת‪= E [X] :‬‬ ‫‪‬‬ ‫)‪E [X | Y = y] p (y‬‬ ‫‪Y‬‬ ‫התוחלת השלמה‪ .‬נקרא ‪.Law of Iterated Expectation‬‬ ‫– נחזור לדוגמא‪ :‬נחשב את‬ ‫‪n‬‬ ‫‪2‬‬ ‫‪y‬‬ ‫= ] ‪.E [X] = E [E [X | Y ]] = E [nY ] = nE [Y‬‬ ‫–‬ ‫ ‬ ‫ ‬ ‫‬ ‫= ‪V ar (X) = E X 2 − E [X]2 = E E X 2 | Y − E [E [X | Y ]]2‬‬ ‫‬ ‫‬ ‫= ‪= E V ar (X | Y ) + E [X | Y ]2 − E [E [X | Y ]]2‬‬ ‫‬ ‫‬ ‫‬ ‫)] ‪= E [V ar (X | Y )] + E E [X | Y ]2 − E [E [X | Y ]]2 = E [V ar (X | Y )] + V ar (E [X | Y‬‬ ‫כי ‪) E [X 2 ] = V ar (X) + E [X]2‬פעמיים(‬ ‫– נחזור לדוגמא‪ ,V ar (X | Y = y) = ny (1 − y) :‬ולכן ‪ .V ar (X | Y ) = Y (1 − Y ) n‬התוחלת תהיה‬ ‫‬ ‫‬ ‫ ‬ ‫= ‪E (V ar (X | Y )) = E [nY (1 − Y )] = nE Y − Y 2 = n E [Y ] − E Y 2‬‬ ‫‬ ‫‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪n‬‬ ‫‪2‬‬ ‫‪= n E [Y ] − V ar (Y ) − E [Y ] = n‬‬ ‫‪−‬‬ ‫‪−‬‬ ‫=‬ ‫‪2 12 4‬‬ ‫‪6‬‬ ‫נחשב את ) ‪.V ar (E [X | Y ]) = V ar (nY ) = n2 V ar (Y‬‬ ‫בס"ד‪ ,‬ב' טבת תשע"א‪ :‬שיעור ‪ 17‬־ פונקציות יוצרות מומנטים‬ ‫‬ ‫‬ ‫• נניח )( ∼ ‪ .X‬אנו יודעים לחשב תוחלת‪ ,‬ושונות של )‪ ,g (X‬ולכן ניתן לחשב את ‪ .E e−2X‬נדבר באופן‬ ‫ ‬ ‫ ‬ ‫כללי על ‪ .E esX‬אחרי שקבענו את התפלגות ‪ ,X‬יש לנו פונקציה של ‪ ,s‬ונסמן אותה ‪.mX (s) = E esX‬‬ ‫דוגמאות‪:‬‬ ‫‪ ,X ∼ Ber (p) .1‬אזי ‪.mX (s) = 1 − p + pes‬‬ ‫‪10‬‬ ‫ אזי‬,X ∼ P ois (λ) (‫)א‬ mX (s) = ∞ X k=0 k sk −λ λ e e k! −λ =e ∞ X (λes )k k=0 k! −λ λes =e e ∞ X e s k −λes (λe ) k=0 k! s = e−λ eλe = e−λ(1−e s) . s P∞ pe (es )k p (1 − p)k−1 = 1−(1−p)e s ‫ אזי‬,X ∼ Geo (p) (‫)ב‬ ´ ∞ sx −λx ´ ∞ λ λ .mX (s) = 0 e λe dx = λ−s (λ − s) e−(λ−s)x dx = λ−s ‫ אזי‬,X ∼ exp (λ) (‫)ג‬ 0 .mX (s) = k=1 ‫ אזי‬,Z ∼ N (0, 1) (‫)ד‬ ˆ∞ mZ (s) = −∞ s2 x2 1 esx √ e− 2 dx = e 2 2π ˆ∞ −∞ s2 s2 x2 1 √ e− 2 +sx− 2 dx = e 2 2π ˆ∞ −∞ (x−s)2 s2 1 √ e− 2 dx = e 2 2π .mY (s) = esb mX (as) ‫ אזי‬,Y = aX + b‫ ו־‬,mX (s) ‫ ופונקציה‬,X ‫ נניח יש מ"מ‬:‫• טענה‬ .mY (s) = E esY = E es(aX+b) = E easX esb = esb mX (as) :‫הוכחה‬ .mX (s) = esµ e σ 2 s2 2 ‫ ולכן בעזרת הטענה נקבל‬.X = σX + µ ‫ אזי‬,X ∼ N (µ, σ 2 ) (‫)ה‬ .mX (0) = E e0X = E [1] = 1 • • ∂ ∂ mX (s) = ∂s ∂s ˆ∞ ˆ∞ sx e fX (x) dx = −∞ ∂ sx e fX (x) dx = ∂s ˆ∞ xesx fX (x) dx −∞ −∞ ∂ ,‫ באופן דומה‬. ∂s mX (0) = E [X] ‫ולכן‬ ∂k ∂k m (s) = X ∂sk ∂sk ˆ∞ ˆ∞ esx fX (x) dx = −∞ xk esx fX (x) dx −∞ k ∂k ‫ולכן‬ . ∂s k mX (s) |s=0 = E X −3 ∂ ∂ λ ‫ ולכן‬, ∂s , ∂s mX (s) = λ (λ − s)−2 ‫ ולכן‬,mX (s) = λ−s :4 ‫• נחזור לדוגמא‬ 2 mX (s) = 2λ (λ − s) .E [X] = m0X (0) = λ (λ)−2 = λ1 k sk P P∞ 2 (k) sk mX (s) = ∞ m (0) = E X k! = 1 + E [X] s + E [X 2 ] s2! + . . . :‫• טור טיילור‬ X k=0 k=0 k! 2 .(‫• )בשיעור השני לא הייתי‬ 18 ‫ שיעור‬:‫ ה' טבת תשע"א‬,‫בס"ד‬ .MX (s) = E e−sX ,‫ מ"מ‬X ‫ אם‬:‫• פונקציות יוצרות מומנטים‬ ‫ כמו כן־ עבור פונקצית‬.‫ היא אינסופית‬mX (λ + 5) ,x ∼ exp (λ) ‫ למשל עבור‬.‫ לא תמיד סופי‬:‫• תכונות‬ 1 , π(1+x 2 ) ‫התפלגות‬ :‫ אזי‬,a < 0 < b ‫ כך שגם‬,a < s < b ‫ עבור‬mX (s) < ∞ ‫נניח כי‬ 11 ‫)‪(n‬‬ ‫‪.mX (0) = E [X n ] .1‬‬ ‫‪ mX (s) = mY (s) .2‬עבור ‪ a < s < b‬אז ‪) .X ∼ Y‬משפט היחידות(‬ ‫‪ {Xn } .3‬מ"מ‪ ,‬ו־)‪ limn→∞ mX (s) = m (s‬בתחום ‪ ,a < s < b‬וגם ‪ .lims→0 m (s) = 1‬אזי קיימת פונקצית‬ ‫התפלגות מצטברת כך ש־)‪ limn→∞ FXn (x) = F (x‬לכל ‪ x‬שהיא נקודת רציפות של ‪ .F‬מעבר לזה‪ ,‬אם‬ ‫‪ X ∼ F‬אזי )‪.m (s) = mX (s‬‬ ‫‪P‬‬ ‫] ‪E [X k‬‬ ‫‪ mX .4‬גזירה אינסוף פעמים על )‪ ,(a, b‬ומתקיים לכל ‪ a < s < b‬כי ) ‪.mX (s) = nk=0 k! sk + o (sn‬‬ ‫‪.maX+b (s) = esb mX (as) .5‬‬ ‫‪ .6‬אם ‪ X, Y‬ב"ת‪ ,‬אז )‪.mX+Y (s) = mX (s) mY (s‬‬ ‫• משפט הגבול המרכזי‪:‬‬ ‫דוגמא‪ :‬נניח כי ‪ X1 , X2 , . . .‬מ"מ ב"ת ש"ה‪) E [X 2 ] = 1 .‬סופי(‪ .E [X] = 0 .‬נניח כי‬ ‫∞ < )‪ mXi (s) = m (s‬עבור ‪ a < s < b‬כך ש־‪.a < 0 < b‬‬ ‫)‪mXi (s) = mn (s‬‬ ‫‪n‬‬ ‫‪Y‬‬ ‫= )‪(s‬‬ ‫‪Xi‬‬ ‫‪Pn‬‬ ‫‪i=1‬‬ ‫‪m‬‬ ‫‪i=1‬‬ ‫‬ ‫‪s‬‬ ‫√‬ ‫‪n‬‬ ‫‬ ‫‪n‬‬ ‫‪=m‬‬ ‫‬ ‫‪s‬‬ ‫√‬ ‫‪n‬‬ ‫‬ ‫‪Xi‬‬ ‫‪(s) = m‬‬ ‫‪Pn‬‬ ‫‪i=1‬‬ ‫‪Pn‬‬ ‫‪Xi‬‬ ‫‪i=1‬‬ ‫√‬ ‫‪n‬‬ ‫‪m‬‬ ‫‪Pn E [ X k ] k‬‬ ‫‪2‬‬ ‫ ) ‪.m (s) = 1 + E [X] s+ E [X 2 ] s2 + o (s2‬‬ ‫‪ ,n‬ונקבל‪:‬‬ ‫=‬ ‫‪2‬‬ ‫ניקח‬ ‫‪.m‬‬ ‫)‪(s‬‬ ‫=‬ ‫נזכור כי ) ‪s + o (sn‬‬ ‫‪k=0‬‬ ‫!‪k‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪s2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪ .mn (s) = 1 + 0 + 12 sn + o sn‬קבלנו כי‬ ‫‪= 1 + n1 s2 + no sn‬‬ ‫ובמקרה שלנו‪→n→∞ e 2 ,‬‬ ‫‬ ‫‪ P‬‬ ‫‪s2‬‬ ‫‪s2‬‬ ‫‪n‬‬ ‫‪1‬‬ ‫‪Pn‬‬ ‫√‬ ‫‪ ,lim‬וכי ‪2 = 1‬‬ ‫‪2‬‬ ‫‪X‬‬ ‫<‬ ‫‪x‬‬ ‫→‬ ‫‪Φ‬‬ ‫)‪(x‬‬ ‫כי‬ ‫נובע‬ ‫מכאן‬ ‫‪.lim‬‬ ‫‪e‬‬ ‫‪ P‬לכל‬ ‫‪m‬‬ ‫)‪(s‬‬ ‫=‬ ‫‪e‬‬ ‫‪X‬‬ ‫‪i‬‬ ‫∞→‪n‬‬ ‫‪s→0‬‬ ‫∞→‪n‬‬ ‫‪i‬‬ ‫‪i=1‬‬ ‫‪i=1‬‬ ‫‪n‬‬ ‫√‬ ‫‪n‬‬ ‫‪.x‬‬ ‫• באופן כללי אם ‪ X1 , X2 , . . .‬מ"מ ב"ת ש"ה עם )‪ E [esx ] = m (s‬סופית בקטע )‪ ,(a, b‬כאשר )‪ .0 ∈ (a, b‬אזי‬ ‫‬ ‫‬ ‫עבור ] ‪ ,σ 2 = V ar (Xi ) ,µ = E [Xi‬הסדרה ‪ Xnσ−µ‬היא סדרת מ"מ ב"ת ש"ה עם תוחלת ‪ 0‬ושונות ‪ .1‬ולכן‬ ‫‪Pn‬‬ ‫‬ ‫‪P‬‬ ‫‪√ 1 Pn X −m √ Xn −µ‬‬ ‫‪X −nm‬‬ ‫‪. √1n ni=1 Xiσ−µ = √1n i=0 σ i‬‬ ‫‪== n n i=0σ i‬‬ ‫)‪= n σ →n→∞ Φ (x‬‬ ‫• משפט הגבול המרכזי‪ :‬אם ‪ X1 , X2 , . . .‬מ"מ ב"ת ש"ה בעלי ] ‪E [Xi2‬סופית‪ ,‬נסמן ‪,V ar (Xi ) = σ 2 ,E [Xi ] =µ‬‬ ‫‪´x‬‬ ‫‪P‬‬ ‫‪√ Xn −µ‬‬ ‫‪y2‬‬ ‫‪.P‬‬ ‫אזי עבור ‪n σ < x →n→∞ Φ (x) = √12n −∞ e− 2 dy ,Xn = n1 ni=0 Xi‬‬ ‫– מקרה פרטי‪ :‬נניח )‪ .X ∼ Bin (n, p‬ניקח )‪ .X1 , . . . , Xn ∼ Ber (p‬אזי ‪ ,X ∼ X1 + . . . + Xn‬לכן‬ ‫‪X‬‬ ‫)‪ .σ 2 = V ar (Xi ) = p (1 − p‬ולכן לפי המשפט‬ ‫‪ ,µ = E [Xi ] = p. n ∼ Xn‬‬ ‫√‬ ‫‪√ Xn −p‬‬ ‫‪ .limn→∞ P‬לכן ‪ n √Xn −p‬מתפלג בקרוב )‪ ,N (0, 1‬או אם נכפיל מנה‬ ‫√‪n‬‬ ‫)‪≤ x = Φ (x‬‬ ‫)‪p(1−p‬‬ ‫ומכנה ‪ ,n‬אזי )‪∼ N (0, 1‬‬ ‫)‪p(1−p‬‬ ‫‪ √X−np‬כאשר ‪ n‬גדול‪.‬‬ ‫)‪np(1−p‬‬ ‫מתי הקירוב "טוב"? מקובל להשתמש בקירוב זה כאשר ‪ np ≥ 5‬וגם ‪.n (1 − p) ≤ 5‬‬ ‫נניח כי אנו רוצים לחשב את‬ ‫!‬ ‫!‬ ‫‪k + 12 − np‬‬ ‫‪k − 12 − np‬‬ ‫‪p‬‬ ‫‪−Φ p‬‬ ‫)‪np (1 − p‬‬ ‫)‪np (1 − p‬‬ ‫ ‬ ‫‬ ‫‬ ‫‪n k‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪n−k‬‬ ‫)‪p (1 − p‬‬ ‫‪= P (X = k) = P k − < X < k +‬‬ ‫‪≈Φ‬‬ ‫‪k‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫לקירוב קוראים קירוב ‪.Laplace De Moivre‬‬ ‫‪12‬‬ ‫• אי שיוויון מרקוב וצ'ובישב‬ ‫מ"מ אי שלילי )‪ .(P (X ≥ 0) = 1‬רוצים למצוא חסם להסתברות )‪ P (X ≥ a‬עבור ‪ .a > 0‬נגדיר‬ ‫נניח כי ‪ X‬‬ ‫‪0 x < a‬‬ ‫= ‪ .Ya‬אזי‪ Ya ≤ X :‬לכן גם ]‪ .E [Ya ] ≤ E [X‬אבל ]‪.E [Ya ] = aP (X ≥ a) ≤ E [X‬‬ ‫‪a x ≥ a‬‬ ‫]‪E[X‬‬ ‫‪a‬‬ ‫≤ )‪.P (X ≥ a‬‬ ‫אי שוויון מרקוב‪ X :‬מ"מ אי שלילי אז לכל ‪,a > 0‬‬ ‫] ‪ E [(X−E[X])2‬‬ ‫≤ ‪.P (|X − E [X]| ≥ a) = P (X − E [X])2 ≥ a2‬‬ ‫)‪= V ar(X‬‬ ‫מה ההסתברות‬ ‫‪a2‬‬ ‫‪a2‬‬ ‫אי שוויון צ'ובישב‪ X :‬מ"מ כלשהו עם תוחלת ∞ < |‪ ,E |X‬אז‬ ‫דוגמא‪.X ∼ exp (λ) :‬‬ ‫‪1‬‬ ‫‪λ‬‬ ‫=‬ ‫]‪E[X‬‬ ‫‪1‬‬ ‫)‪V ar(X‬‬ ‫‪a2‬‬ ‫≤ )‪.P (|X − E [X]| ≥ a‬‬ ‫≤ ‪P (X > 1) = e−λ‬‬ ‫• החוק החלש של המספרים הגדולים‬ ‫נניח כי ‪ X1 , X2 , . . .‬מ"מ ב"ת ש"ה‪ ,E [X12 ] < ∞ .‬ונסמן ] ‪ .σ 2 = V ar (X1 ) ,µ = E [X1‬אזי‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪2‬‬ ‫‪ limn→∞ P Xn − µ ≥ = 0‬לפי אי שוויון צ'בישב ) ‪,(V ar Xn = σn‬‬ ‫‬ ‫‬ ‫‬ ‫‪σ2‬‬ ‫‪.P Xn − µ ≥ ε ≤ nε‬‬ ‫ולכן ‪2 →n→∞ 0‬‬ ‫בס"ד‪ ,‬ט' טבת תשע"א‪ :‬שיעור ‪19‬‬ ‫• כאשר יש לנו סדרה של מ"מ ב"ת עם תוחלת ‪ µ‬ושונות ‪ ,σ 2‬ראינו את החוק החלש של המספרים הגדולים‪ ,‬וחוק‬ ‫הגבול המרכזי‪.‬‬ ‫]‪ P (X ≥ a) ≤ E[X‬משמעות‪ :‬אם התוחלת קטנה‪ ,‬ההסתברות לערכים גבוהים היא‬ ‫• תזכורת‪ :‬אי שוויון מרקוב‪:‬‬ ‫‪a‬‬ ‫‪σ2‬‬ ‫נמוכה‪ .‬אי שוויון צ'בישב‪ ,P (|X − µ| ≥ ε) ≤ ε2 :‬כלומר‪ ,‬אם השונות קטנה‪ ,‬הסיכוי לסטות מהממוצע הוא‬ ‫קטן‪ .‬צורה נוספת‪ .P (|X − µ| ≥ kσ) ≤ k12 :‬אם סטיית התקן היא מדד לפיזור וניקח אותו כיחידת מידה‪,‬‬ ‫יש כאן הנחה על כמה מהציונים רחוקים כך יחידות מהממוצע‪.‬‬ ‫‬ ‫‬ ‫‬ ‫‪P‬‬ ‫• החוק החלש‪ :‬נסמן ‪ .limn→∞ P Xn − µ ≥ = 0 .Mn = Xn¯ = Snn ,Sn = ni=1 Xi‬משמעות ־ אם נעשה‬ ‫הרבה ניסויים‪ ,‬הממוצע שואף לתוחלת‪.‬‬ ‫מסויימת‪ .‬מראיינים ‪ n‬אנשים ב"ת נדגמים בצורה אחידה‪ .‬לכל‬ ‫• ֹדוגמא‪ :‬נניח ש־‪ p‬מהבוחרים תומכים במפלגה‬ ‫‪‬‬ ‫‪1 men(i) support‬‬ ‫= ‪=Sn ,Xi‬כמות האנשים מתוך ‪ n‬שתמכו‪ =Xn .‬החלק‬ ‫אחד סיכוי ‪ p‬לתמיכה‪ .‬אם‬ ‫‪0 o.w.‬‬ ‫‬ ‫‬ ‫‬ ‫)‪p(1−p‬‬ ‫‪σ2‬‬ ‫‪ .P Xn − p ≥ 0.1 ≤ 0.1‬במקרה‬ ‫מתוך ‪ n‬שתמכו‪ .‬נניח ‪ ,n = 100‬נחשב את )‪2 = 100∗0.12 = p (1 − p‬‬ ‫‬ ‫‬ ‫‬ ‫הגרוע‪ ,p = 1 :‬ולכן ‪ .P Xn − p ≥ 0.1 ≤ 1‬אם יש מידע משוער על ‪ ,p‬ניתן לשפר את החסם‪ ,‬או לשפר‬ ‫‪2‬‬ ‫‪4‬‬ ‫את ‪ ,n‬או להשתמש באי שוויון יותר טוב‪.‬‬ ‫– דיוק של ‪ 10.0‬בהסתברות ‪.95%‬‬ ‫‪≤ 0.05 ⇒ 1 ≤ 4n·0.000005‬‬ ‫‪1‬‬ ‫‪4n·0.012‬‬ ‫‬ ‫‬ ‫‬ ‫≤ ‪ .P Xn − p ≥ 0.01‬ולכן ניתן לחלץ ולהגיע ל־‪.n ≥ 50, 000‬‬ ‫• התכנסות בהסתברות‪:‬‬ ‫נניח ‪ Y1 , . . . , Yn‬סדרה של מ"מ ב"ת‪ .‬נתון ‪ a ∈ R‬כך שלכל ‪ limn→∞ P (|Yn − a| ≥ ε) = 0 ,ε > 0‬אז ‪Yn‬‬ ‫מתכנס בהסתברות ל־‪.a‬‬ ‫‪13‬‬ ‫דוגמא‪ :‬נתונה סדרה של מ"מ )‪ .{Xn } ∼ U (0, 1‬נגדיר } ‪ .Yn = min {X1 , . . . , Xn‬נראה כי ‪ Yn‬מתכנס‬ ‫‪T‬‬ ‫‪Q‬‬ ‫בהסתברות ל־‪ .P (|Yn − 0| ≥ ε) = P ( ni=1 Xi ≥ ε) = ni=1 pXi (ε) = (1 − ε)n →n→∞ 0 :0‬תרגיל‪nYn :‬‬ ‫שואף להתפלגות אקספוננציאלי‪.‬‬ ‫• משפט הגבול המרכזי‪:‬‬ ‫נורמלית סטנדרטית‪.‬‬ ‫√ ‪Sn‬‬ ‫‪−nµ‬‬ ‫‪σ n‬‬ ‫= ‪ ,Zn‬אזי )‪ limn→∞ P (Zn ≤ z) = Φ (z‬כאשר )‪ Φ (z‬הוא התפלגות מצטברת‬ ‫ראינו שהסכום שואף לתוחלת ושונות אינסופית‪ ,‬והממוצע שואף לתוחלת ממוצעת ושונות ‪.0‬‬ ‫תזכורת ־ משתנה נורמלי סטנדרטי ־‬ ‫‪1‬‬ ‫‪ˆy‬‬ ‫)‪e− t2 dt = P (Y > −y) = 1 − Φ (−y‬‬ ‫∞‪−‬‬ ‫‪1‬‬ ‫√ = )‪Φ (y) = P (Y ≤ y) = P (Y < y‬‬ ‫‪2π‬‬ ‫הטבלה טובה רק עבור ‪ y‬חיובי‪ ,‬בנוסחא זו נטפל ב‪ y‬שלילי‪.‬‬ ‫דוגמא‪ :‬הודעה בינארית משודרת כסיגנל ‪ +1‬או ‪ .−1‬המשדר מוסיף רעש נורמלי עם ממוצע ‪ µ = 0‬ושונות‬ ‫‪) σ 2‬הרעש תלוי בהרבה גורמים ־ ולכן הוא כזה לפי משפט הגבול המרכזי(‪ .‬במקלט מפענחים "‪ "1‬אם הסיגנל‬ ‫חיובי‪ ,‬ו־”‪ ” − 1‬אחרת‪.‬‬ ‫נסמן ב־ ‪ N‬את הרעש‪ .‬טעות א'‪ .−1 + N > 0 :‬טעות ב'‪ .1 + N ≤ 0 :‬הסיכוי לטעות א'‪:‬‬ ‫‬ ‫‬ ‫‪ .P (N ≥ 1) = 1 − P (N ≤ 1) = 1 − P Nσ ≤ σ1 = 1 − Φ σ1‬לדוגמא‪ ,‬אם ‪ ,σ = 1‬אז הסיכוי לטעות א'‬ ‫היא ‪.1 − Φ (1) = 1 − 0.8413 = 0.1587‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫נחזור לדוגמת הבחירות‪ P Xn − p ≥ ε ≈ 2P Xn − p ≥ ε :‬מסימטריה של משתנה נורמלי‪.‬‬ ‫‪1‬‬ ‫)‪ .E [Xn ] = p, V ar (Xn ) = p(1−p‬ל־‪ Xn − p‬יש תוחלת ‪ 0‬ושונות כמו ‪ ,Xn‬נחשב את‬ ‫‪≤ 4n‬‬ ‫‪n‬‬ ‫‬ ‫√‬ ‫)‪ ,1 − P Xn − p ≤ ε = 1 − Φ (2 nε‬כמו שעשינו עם הסיגנל‪ .‬כעת מ־‪ ε‬ניתן לחלץ את ה־‪ n‬הדרוש‪ .‬במקרה‬ ‫‪ ,n = 100, ε = 0.1‬נקבל ‪.0.046‬‬ ‫בס"ד‪ ,‬י"ב טבת תשע"א‪ :‬שיעור ‪20‬‬ ‫• יש לנו תהליך אובזרבציה הנובע מפרמטר ‪ ,Θ‬ממנו יוצאים אוסף דוגמאות‪ X1 , X2 , . . . :‬שבעזרתם מנסים לנחש‬ ‫את ‪ .Θ‬משם ניתן להגיע לתחזיות או לתובנות על העולם‪ .‬בשבועות הקרובים נטעם על קצה המזלג איך מחברים‬ ‫בין נתונים בתורת ההסברות‪.‬‬ ‫• באופן כללי ‪ X‬תצפית רנדומית שבאה בהתפלגות )‪ .pX (x, Θ‬מטרה באמידה לגלות את ‪ .Θ‬מה היינו רוצים‬ ‫מ ‪ ?Θˆn‬הוא יהיה פונקציה של ‪ .X1 , . . .h, Xni‬אנחנו רוצים כי כאשר ∞ → ‪ n‬אז ‪ Θˆn → Θ‬בהסתברות ־ אומד‬ ‫קונסיסטנטי‪ .‬כמו כן כי ‪ E Θˆn = Θ‬־ אומד לא מוטה‪.‬‬ ‫• הנחות‪:‬‬ ‫‪.X1 , . . . , Xn ∼ X .1‬‬ ‫‪ X1 , . . . , Xn .2‬ב"ת‪.‬‬ ‫הנחות אלו נקראות ‪.i.i.d = identically indepentely distributed‬‬ ‫• נרצה לאמוד ) ‪ gˆ (X1 , . . . , Xn‬כאומדן ל־])‪.E [g (X‬‬ ‫‪14‬‬ ‫– דוגמא ‪ ,g (X) = X :1‬אזי ]‪ .E [g (X)] = E [X‬נבחר אומד )פונקציה(‬ ‫‪P‬‬ ‫‪P‬‬ ‫ˆ‪ .‬האם זה אומד הגיוני?‬ ‫‪g = n1 ni=1 g (Xi ) = n1 ni=1 Xi‬‬ ‫‪" n‬‬ ‫‪#‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫‪1‬‬ ‫‪1X‬‬ ‫‪n‬‬ ‫ˆ[ ‪E‬‬ ‫‪g] = E‬‬ ‫= ) ‪g (Xi‬‬ ‫])‪E [g (Xi )] = E [g (X)] = E [g (X‬‬ ‫‪n i=1‬‬ ‫‪n i=1‬‬ ‫‪n‬‬ ‫ולכן ˆ‪ g‬הינו אומד חסר הטייה‪ .‬עבור ‪ X1 , . . . , Xn‬מסויימים נקבל אומדן ‪) gˆn‬מספר(‪.‬‬ ‫דוגמת הבחירות‪ ,p = E [X] ,X ∼ Ber (p) ,‬ולכן מטרה ‪ p‬היא מטרת ]‪ .E [X‬דרך למטרה‪ :‬נשאל הרבה‬ ‫אנשים )‪ .X1 , . . . , Xn ∼ Ber (p‬מפעילים פונקציה )אומד( על התוצאות‪ ,‬ומקבלים אומדן‪ .‬ניתן להתווכח‬ ‫על הבחירה של האומד‪ ,‬המטרה נתונה‪.‬‬ ‫נחזור לדוגמא ‪ :1‬התנאי כי האומד יהיה קונסיסטנטי מתקבל מהחוק החלש של המספרים הגדולים‪.‬‬ ‫‬ ‫‬ ‫– דוגמא ‪ :2‬שונות ־ ‪ ,g (X) = E (X − E [X])2‬כלומר מחפשים את ‪) E [g (X)] = σ 2‬נשתמש ב־‬ ‫‪P‬‬ ‫‪ µ‬לתוחלת ו־ ‪ σ 2‬לשונות(‪ .‬נתון שיודעים את ‪ .µ‬ננסה ־ ‪ gˆn = n1 i (Xi − µ)2‬־ זה קונסיסטנטי‪.‬‬ ‫‬ ‫ ‪P‬‬ ‫‪.E [gˆn ] = n1 i E (Xi − µ)2 = nn σ 2 = σ 2‬‬ ‫‪2 1 Pn 2‬‬ ‫ ‪2‬‬ ‫‪Pn‬‬ ‫‪1‬‬ ‫– דוגמא ‪ :3‬כמו ‪ 2‬רק ‪ µ‬לא ידוע‪ .‬במקרה הזה רוצים למצוא‬ ‫‪gˆn = n i=1 Xi − Xn = n i=1 Xi − 2Xi Xn + Xn‬‬ ‫)נשתמש בפונקציה מדוגמא ‪ 1‬להעריך את התוחלת(‪ .‬נבדוק סטיה‪:‬‬ ‫‪ 2‬‬ ‫‬ ‫‪ X‬‬ ‫‬ ‫ ‪ X‬‬ ‫‪h‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2 i‬‬ ‫‬ ‫‪σ‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪n−1‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪= σ +µ −‬‬ ‫‪+ µ = σ2‬‬ ‫‪E [gˆn ] = E‬‬ ‫‪Xi − 2 X n + Xn‬‬ ‫‪=E‬‬ ‫‪Xi −E Xn‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪h‬‬ ‫‬ ‫‪2 i‬‬ ‫‪2‬‬ ‫‪ ,V ar Xn = σn = E Xn‬ולכן יש לנו הטיה באומד‪ .‬איך ייראה‬ ‫כי ‪ ,σ 2 = E [X 2 ] − µ2‬ו־ ‪− µ2‬‬ ‫‪2‬‬ ‫‪Pn‬‬ ‫‪1‬‬ ‫‪n‬‬ ‫‪= gˆn ∗ (X1 , . . . , Xn ) = n−1‬‬ ‫‪.gˆn n−1‬‬ ‫האומד חסר הטיה?‬ ‫‪i=1 Xi − Xn‬‬ ‫• אמידת פרמטרים‪.‬‬ ‫‬ ‫‪2‬‬ ‫‬ ‫‪ h‬‬ ‫‪i2‬‬ ‫‪ˆ −Θ‬‬ ‫‪ˆ −Θ + E Θ‬‬ ‫‪ˆ −Θ‬‬ ‫‪Θ‬‬ ‫‪= V ar Θ‬‬ ‫– נגדיר גודל הטעות‪:‬‬ ‫‬ ‫‪h i‬‬ ‫‪) M SE Θˆn = E‬כלומר‪:‬‬ ‫השונות של האומד‪ ,‬בתוספת ההטיה של האומד ‪ bias‬בריבוע(‪ .‬אנו מעוניינים למזער את ההטיה של‬ ‫האומד‪ ,‬ואת השונות שלו‪ ,‬ובסה"כ את ה־‪ M SE‬שלו‪.‬‬ ‫– דוגמא‪ .X ∼ U (0, Θ) :‬נבדוק את האומדים‬ ‫הבאים‪h :‬‬ ‫‪i‬‬ ‫ ‬ ‫‪.E Θˆa = 2E Xn = 2E [X] = 2 · Θ2 = Θ :Θˆa = 2Xn‬‬ ‫בס"ד‪ ,‬ט"ז טבת תשע"א‪ :‬שעור ‪21‬‬ ‫• בבחינה ‪ 4‬דפי נוסחאות‪ .‬בחינה אמריקאית‪ .‬יהיה בנק שאלות לדוגמא‪ .‬אפשר מחשבון‪ ,‬זה לא יעזור‪.‬‬ ‫• מונחים‪ :‬מכשיר=פונקציה=אומד‪.‬‬ ‫‬ ‫• נניח כי יש לנו מטבע ‪ .Θ = p = 12‬מדגם ‪ ,000101 :1‬מדגם ‪ ,01101 :2‬מדגם ‪ .11111010 :3‬נעביר כל מדגם‬ ‫דרך "מכשיר" שמטרתו לנסות לגלות את ‪ .Θ‬למכשירים שמקבלים דברים ומחזירים מספר קוראים פונקציה‪.‬‬ ‫השורה היא של מכשירים זהים‪ ,‬למכשיר קוראים אומד‪ .‬היינו משתמשים במכשיר ‪ .Xn‬נקבל ‪ , 26 , 64 , 86‬שהם‬ ‫אומדנים )ספציפיים למדגם(‪ .‬אנו רוצים לשאול האם האומד הוא טוב‪ .‬אומד שהתוחלת שלו שווה לתוחלת‬ ‫ ‬ ‫‬ ‫‪2‬‬ ‫ ‬ ‫‪h‬‬ ‫‪i2‬‬ ‫ˆ‬ ‫ˆ‬ ‫ˆ‬ ‫ˆ‬ ‫‪ .M SE Θ = E Θ − Θ‬נשים לב‬ ‫האמיתית‪ ,‬הוא חסר הטייה‪ .‬הגדרנו ‪= V ar Θ + E Θ − Θ‬‬ ‫כי הוא פונקציה של האומד ושל ‪ .Θ‬ישנם ערכים של ‪ Θ‬עבורם האומד טוב‪ ,‬וערכים שלא‪.‬‬ ‫‪15‬‬ ‫• דוגמא‪ ,X ∼ (0, Θ) :‬נאמוד‬ ‫‪h i‬‬ ‫‪ ΘˆC = 2Xn .1‬ראינו כי ‪ˆ = Θ‬‬ ‫‪ ,E Θ‬כלומר הוא חסר הטיה‪ .‬מה השונות שלו?‬ ‫ ‬ ‫‬ ‫‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪4‬‬ ‫)‪.V ar ΘˆC = V ar 2Xn = 4V ar Xn = 4 V ar(X‬‬ ‫)‪= (b−a‬‬ ‫‪= Θ3n‬‬ ‫‪n‬‬ ‫‪12 n‬‬ ‫‪ .ΘˆA = max Xi .2‬בהרבה נסיונות‪ ,‬נקבל מספר שקרוב ל־‪ .Θ‬נחשב את הפונקציות‪:‬‬ ‫‬ ‫‪n‬‬ ‫‪an‬‬ ‫‪a n‬‬ ‫=‬ ‫פונקצית הצפיפות היא ‪ .fΘˆn (x) = Θn‬נחשב‬ ‫לכן‬ ‫‪P‬‬ ‫‪(max‬‬ ‫‪X‬‬ ‫‪i ≤ a) = P (Xi < a) = Θ‬‬ ‫‪n‬‬ ‫‪Θ‬‬ ‫´ ‪h i‬‬ ‫‪´ Θ nyn‬‬ ‫‪Θ ny n−1‬‬ ‫‪ny n+1‬‬ ‫‪n‬‬ ‫‪Θ‬‬ ‫ˆ‬ ‫= ‪ .E Θn‬זהו אומד קונסיסטנטי‪ ,‬אבל מוטה מעט‪.‬‬ ‫את ‪Θ‬‬ ‫= ‪y n‬‬ ‫= ‪n‬‬ ‫= ‪n |0‬‬ ‫‪ny n−1‬‬ ‫‪n+1‬‬ ‫‪Θ‬‬ ‫‪(n+1)Θ‬‬ ‫‪0‬‬ ‫‪Θ‬‬ ‫‪0‬‬ ‫השונות שווה ל־ ‪ . (n+1)n2 (n+2) Θ2‬זוהי שונות יותר טובה משל ‪.C‬‬ ‫‪.3‬‬ ‫ˆ ‪n+1‬‬ ‫‪ΘA‬‬ ‫‪n‬‬ ‫= ‪.ΘˆB‬‬ ‫נחשב מה יותר טוב‪:‬‬ ‫גודל קטן יותר‪.‬‬ ‫‪Θ2‬‬ ‫‪3n‬‬ ‫ ‬ ‫ ‬ ‫‪ n‬‬ ‫‪2‬‬ ‫‪Θ2‬‬ ‫זאת‬ ‫ולעומת‬ ‫‪M‬‬ ‫‪SE‬‬ ‫‪ ,M SE ΘˆA = ∗ + n+1‬זהו‬ ‫= ‪ΘˆC‬‬ ‫)‪Θ − Θ = ∗ + (n+1‬‬ ‫‪2‬‬ ‫• שיטת המומנטים‪ .‬נניח כי ) ‪ ,fX (x; θ1 , . . . , θn‬ו־ )‪ .Θi = g (E [X] , E [X 2 ] , . . .‬לפעמים מספיק המומנט‬ ‫הראשון והשני‪ ,‬לפעמים צריך הרבה‪.‬‬ ‫‪(x−µ)2‬‬ ‫‪1‬‬ ‫– דוגמא‪ X ∼ N (µ, σ 2 ) :‬אזי ‪e− 2σ2‬‬ ‫‪ .fX (x) = √2πσ‬אזי ]‪.Θ1 = µ = E [X‬‬ ‫‪ .Θ2 = σ 2 = V ar (X) = E [X 2 ] − E [X]2‬כבר ראינו איך לחשב את ] ‪.E [X] , E [X 2‬‬ ‫‪ .1‬אומדים את המומנטים שצריכים ע"י סכימה פשוטה וחלוקה בקבוע המתאים‪.‬‬ ‫‪ .2‬מחשבים את כל הפרמרים מתוך המומנטים‪.‬‬ ‫– דוגמא‪ .V ar [X] = mp (1 − p) ,E [X] = mp .X ∼ Bin (m, p) :‬בעזרת שני המומנטים הראשונים‬ ‫ניתן לחלץ את ‪.m, p‬‬ ‫– בעיות‪ :‬ניתן לקבל תוצאות אסורות עבור הפרמטרים‪ ,‬אם האומדנים למומנטים הם לא טובים‪ ,‬למשל ניתן‬ ‫לקבל שונות שלילית‪.‬‬ ‫• נראות מקסימלית ‪Maximum Liklihood‬‬ ‫‪ Θ‬מתוך מדגם‪ .‬נניח יש לנו ‪ 1111011‬בהטלות מטבע‪ .‬ננסה למצוא ˆ‬ ‫המשימה לחפש ˆ‬ ‫‪ Θ‬שמביא את ההסתברות‬ ‫‪Qn‬‬ ‫לנתוני המדגם למקסימום‪ .‬למשל אם נתון ‪ ,X1 , . . . , Xn‬ננסה למקסם את )‪ . i=1 P (Xi | Θ‬נעביר ללוג‬ ‫)פונקציה מונוטונית(‪ .f (Θ) = log (Qn P (Xi | Θ)) = Pn log (P (Xi | Θ)) .‬נחפש ˆ‬ ‫‪ Θ‬שממקסם את‬ ‫‪i=1‬‬ ‫‪i=1‬‬ ‫פונקציית לוג־הנראות‪.‬‬ ‫– דוגמא‪ .X ∼ Ber (Θ) :‬אזי ‪ .P (Xi = 1; Θ) = Θ‬מקבלים ‪ .X1 , . . . , Xn‬פונקציית לוג הנראות היא‬ ‫])‪[Xi log (Θ) + (1 − Xi ) log (1 − Θ‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫=‬ ‫‪1−Xi‬‬ ‫)‪(1 − Θ‬‬ ‫‪Xi‬‬ ‫‪log Θ‬‬ ‫‪i=1‬‬ ‫‪Xi‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫‪i=1‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫‪i=1‬‬ ‫= )‪log (1 − Θ‬‬ ‫‪X‬‬ ‫‪i,Xi =0‬‬ ‫‪log Θ +‬‬ ‫‪X‬‬ ‫‪i,Xi =1‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫‪Xi 1 − Xi‬‬ ‫‪1‬‬ ‫‪−‬‬ ‫= ‪= 0 ⇒ Θˆn‬‬ ‫‪Θ‬‬ ‫‪1−Θ‬‬ ‫‪n‬‬ ‫אומד נראות מירבית הוא תמיד קונסיסטנטי‪ .‬וכן )( ‪.Θn −−−→∼ N‬‬ ‫∞→‪n‬‬ ‫‪16‬‬ ‫‪i=1‬‬ ‫= )‪f (Θ‬‬ ‫= )‪f 0 (Θ‬‬ ‫– דוגמא‪ :‬משתנה אקספוננציאלי‪ .‬לקוחות מגיעים לחנות כך שלקוח ‪ i‬מגיע בזמן ‪ Yi‬ומניחים שהמרווחים‬ ‫‪ Yi − Yi−1‬מתפלגים אקספוננציאלי‪.Y0 = 0 .‬‬ ‫‪Q‬‬ ‫נסמן ב־ ‪ Xi‬את המרווח‪ .‬רוצים למצוא את ‪ .fX (D; Θ) = i Θe−ΘXi .Θ‬לכן‬ ‫‪P‬‬ ‫‪ˆ = Pn .l (D; Θ) = Pn log Θ + Pn −ΘXi‬‬ ‫‪.l0 (D; Θ) = Θn − ni=1 Xi = 0 ⇒ Θ‬‬ ‫‪i=1‬‬ ‫‪i=1‬‬ ‫‪Xi‬‬ ‫בס"ד‪ ,‬י"ט טבת תשע"א‪ :‬שעור ‪22‬‬ ‫• נראות מרבית ־ קלט‪ X1 , . . . , Xn :‬מניחים ‪ ,i.i.d.‬מניחים מנגנון שייצר את הדוגמאות )‪ pX (x; θ‬או )‪.fX (x; θ‬‬ ‫‪ θ‬לא ידוע‪ .‬פלט‪ θˆ :‬שבמובן מסויים קרוב ל־‪ .θ‬מחפשים את )‪.argmaxP (X1 , . . . , Xn ; θ‬‬ ‫‪(Xi −µ)2‬‬ ‫‪Q‬‬ ‫‪1‬‬ ‫‪ .P (X1 , . . . , Xn ; θ) = ni=1 √2πσ‬נמקסם את‬ ‫• דוגמא‪e− 2σ2 .X ∼ N (µ, σ 2 ) :‬‬ ‫‪2‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫)‪i −µ‬‬ ‫‪ ∂ log‬כלומר‬ ‫‪ .log P () = ni=1 − 21 log 2πσ 2 + ni=1 (X2σ‬לכן ‪= − 2σ2 2 ni=1 (Xi − µ) = 0‬‬ ‫‪2‬‬ ‫‪∂µ‬‬ ‫‪P‬‬ ‫‪ nµ = ni=1 Xi‬או ‪ .µ = Xn‬ע"פ משפט הגבול המרכזי ‪ .Xn −−−→∼ N‬נגזור לפי ‪:σ 2‬‬ ‫∞→‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪X‬‬ ‫‪1‬‬ ‫‪1 X‬‬ ‫‪1X‬‬ ‫‪∂ log P‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫=‬ ‫‪+ 4‬‬ ‫= ‪(Xi − µ) = 0 ⇒ σ‬‬ ‫‪(Xi − µ)2‬‬ ‫‪2‬‬ ‫‪∂σ 2‬‬ ‫‪σ‬‬ ‫‪2σ‬‬ ‫‪n‬‬ ‫‪i=1‬‬ ‫‪i=1‬‬ ‫‪i=1‬‬ ‫‪.‬‬ ‫• מרווח סמך ־ ‪.Condence Interval‬‬ ‫‬ ‫‬ ‫נניח )‪ .X ∼ (µ, 1‬מדגם מקרי ‪ .X1 , . . . , X4‬נבחר את המרווח ‪ .µ ∈ X − 1, X + 1‬מה הסיכוי ש־‪ µ‬בקטע‬ ‫הזה?‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫= ‪= P µ − 1 ≤ X ≤ µ + 1 = 1 − 2P X ≥ µ + 1 = 1 − 2 1 − P X ≤ µ + 1‬‬ ‫‬ ‫‬ ‫‪= 2P 2 X − µ ≤ 2 − 1 = 2 · 0.9772 − 1 = 0.954‬‬ ‫‬ ‫‪P X −1≤µ≤X +1‬‬ ‫‬ ‫‬ ‫ז"א אם ‪ X = 3.5‬אז ]‪ µ ∈ [2.5, 3.5‬בסיכוי ‪ .95%‬־ לא‪ .‬ל־‪ µ‬אין אקראיות‪ .‬אלא ‪ X − 1, X + 1‬כולל את‬ ‫‪ µ‬בסיכוי ‪.95%‬‬ ‫נקבע רמת בטחון‪ ,‬נחשב רווח סמך‪ X ∼ N (µ, σ 2 ) :‬כאשר ‪ σ 2‬ידוע‪ .‬נסמן ‪ P (Z ≤ zp ) = p‬כאשר‬ ‫)‪ p ,Z ∼ N (0, 1‬רמת הבטחון הנדרשת‪ ,‬ו־)‪ .zp = Φ−1 (p‬למשל ‪.z0.975 = 1.96‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫משפט‪ µ ∈ X − √σn z1− α2 , X + √σn z1− α2 :‬ברמת סמך ‪.1 − α‬‬ ‫למשל עבור ‪ .z1− α2 = 1.96 ,1 − α2 = 0.975 ,α = 0.05‬ולכן אם ‪ ,X = 33.19, σ 2 = 1118.33, n = 100‬קל‬ ‫להציב בנוסחא ולגלות את רווח הסמך‪.‬‬ ‫הוכחה‪:‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪Xn − µ‬‬ ‫‪Xn − µ‬‬ ‫‪√ ≤ z1− α2 = 1 − 2P‬‬ ‫= ‪√ ≥ z1− α2‬‬ ‫≤ ‪= P −z1− α2‬‬ ‫‪σ/ n‬‬ ‫‪σ/ n‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪Xn − µ‬‬ ‫ ‪α‬‬ ‫‪√ ≤ z1− α2‬‬ ‫‪= 1−2 1−P‬‬ ‫‪=1−2 1− 1−‬‬ ‫=‬ ‫‪2‬‬ ‫‪σ/ n‬‬ ‫‪= 1−α‬‬ ‫‬ ‫‪σ‬‬ ‫‪σ‬‬ ‫‪X − √ z1− α2 ≤ µ ≤ X + √ z1− α2‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫מה אם רוצים מרווח ‪ ,ε‬אבל ברמת ביטחון ‪ , √σn z1− α2 ≤ ε ?1 − α‬כלומר‬ ‫‪17‬‬ ‫‪2‬‬ ‫‪σ 2 z1−‬‬ ‫‪α‬‬ ‫‪2‬‬ ‫‪ε2‬‬ ‫≥ ‪.n‬‬ ‫‬ ‫‪P‬‬ ‫לתוחלת ‪ .Xn‬בקירוב עבור ‪ n‬גדול‪,‬‬ ‫דוגמא‪:‬‬ ‫)‪ .X ∼ Ber (p‬נתונים ‪ X1 , . . . , Xn‬מדגם‪ .‬מטרה‪ :‬רווח‪q‬סמך ‬ ‫‬ ‫)‪ ,Xn ∼ N p, p(1−p‬ולכן רווח הסמך הוא ‪z1− α2‬‬ ‫מתקיים‬ ‫)‪ p ∈ Xn ± p(1−p‬ברמת סמך ‪) 1−α‬במקורב(‪.‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫בעיה‪ :‬יש לנו ‪ p‬בתוך הביטוי‪.‬‬ ‫‪h‬‬ ‫‪i‬‬ ‫פתרון א'‪ .p (1 − p) ≤ 14 :‬לכן נקבע ‪.p ∈ Xn ± 2√1 n z1− α2‬‬ ‫‬ ‫‬ ‫‪q‬‬ ‫‬ ‫) ‪Xn (1−Xn‬‬ ‫‪ .p ∈ Xn ±‬עכשיו יש לנו שני‬ ‫פתרון ב'‪ :‬נשתמש באומד ל־‪ ,p‬ןנציב ‪ ,X 1 − X‬ונקבל ‪z1− α2‬‬ ‫‪n‬‬ ‫קירובים‪.‬‬ ‫פתרון ג'‪ :‬נשתמש באומד של ‪.σˆ2‬‬ ‫• רמת סמך להפרש תוחלות‪ .‬נניח ) ‪ X ∼ N (µ1 , σ12 ) , Y ∼ N (µ2 , σ22‬ב"ת‪ .‬רוצים רווח סמך ל־ ‪ .µ1 − µ2‬רוצים‬ ‫פערים בין אוכלוסיות‪ .‬ננסה להגדיר אומד‪ .Xn − Yn :‬מליניארוית התוחלת זהו אומד לא מוטה‪.‬‬ ‫לבדוק אם יש ‬ ‫‬ ‫‪σ 2 +σ 2‬‬ ‫‪) W = X − Y ∼ N µ1 − µ2 , 1 n 2‬בהנחה שהמדגמים שווים בגודלם(‪ .‬ניתן כעת להשתמש במשפט‪.‬‬ ‫בס"ד‪ ,‬כ"ג טבת תשע"א‪ :‬שעור ‪23‬‬ ‫• שיעור אחרון ־ חזרה על חומר‪ .‬תרגול אחרון יוקצה להכנה לבחינה‪.‬‬ ‫• מדגם ‪:i.i.d.‬‬ ‫‪ .1‬מניחים )‪.pX (x; θ) , fX (x; θ‬‬ ‫‪ .2‬מפעילים מכשירים שונים )אומד‪ ,‬נוסחת רווח סמך(‪.‬‬ ‫‪ .3‬מקבלים אומדן‪ ,‬רווח סמך קונקרטי‪.‬‬ ‫‪ .4‬נזכור כי אם ) ‪) X ∼ N (µ, σ 2‬כשהשונות ידועה(‪,‬‬ ‫‪i‬‬ ‫‪√σ z1− α‬‬ ‫‪n‬‬ ‫‪2‬‬ ‫‪h‬‬ ‫‪¯±‬‬ ‫‪ µ ∈ X‬ברמת ביטחון ‪.1 − α‬‬ ‫• רווח סמך חד צדדי‪¯ +c :‬‬ ‫‪ ,µ ≤ X‬ננסה‪ .µ ≤ X + √σn z1− α2 ,‬האם זהו רווח סמך ברמת סמך ‪ ?1−α‬צריך לבדוק‬ ‫ולחשב את רווח הסמך‪ .‬למעשה זה יהיה רמת סמך ‪ . α2‬אם רוצים רמת סמך ‪ α‬צריך לחשב ‪.µ ≤ X + √σn z1−α‬‬ ‫ √‬ ‫‬ ‫ √‬ ‫√‬ ‫‬ ‫‪nc‬‬ ‫‪nc‬‬ ‫=‬ ‫‪Φ‬‬ ‫=‬ ‫‪1‬‬ ‫‪−‬‬ ‫‪α‬‬ ‫כלומר‬ ‫‪P‬‬ ‫‪µ‬‬ ‫≤‬ ‫≥‬ ‫‪−‬‬ ‫‪X‬‬ ‫‪+‬‬ ‫‪c‬‬ ‫אנו רוצים ‪= 1 − α‬‬ ‫‪ ,P Xσ/n√−µ‬כלומר ‪,z1−α = σnc‬‬ ‫‪σ‬‬ ‫‪σ‬‬ ‫‪n‬‬ ‫או ‪ .c = √σn z1−α‬לכן עבור ‪ ,α = 0.05‬נקבל ‪.z0.95 = 1.645‬‬ ‫• דוגמא לא סימטרית‪ :‬נניח )‪ .X ∼ U (0, θ‬יש לנו אומד ‪ θˆ = max Xi‬עם הטיה‪ .‬נחפש ‪ k‬כך ש־‬ ‫‬ ‫‬ ‫‪max Xi‬‬ ‫≤ ‪P max Xi ≤ θ‬‬ ‫= )‪= P (kθ ≤ max Xi ≤ θ) = P (kθ ≤ max Xi ) = 1 − P (max Xi ≤ kθ‬‬ ‫‪k‬‬ ‫\‬ ‫‬ ‫‪= 1−P‬‬ ‫‪Xi ≤ θ = 1 − P (X ≤ kθ)n = 1 − k n = 1 − α‬‬ ‫√‬ ‫כלומר ‪ .k = n α‬כלומר יש לנו רווח סמך‬ ‫את המדגם‪ ,‬נקטין את הרווח(‪.‬‬ ‫‪max‬‬ ‫‪Xi‬‬ ‫√‬ ‫‪nα‬‬ ‫≤ ‪ max Xi ≤ θ‬ברמת ביטחון של ‪) .1 − α‬ככל שנעלה יותר‬ ‫• הצורה הכללית של רווח סמך רציף‪.f (X1 , . . . , Xn ) ≤ θ ≤ g (X1 , . . . , Xn ) :‬‬ ‫• בדיקת השערות‪Hypothesis Testing :‬‬ ‫נניח ‪X ∼ FX‬מניחים השערת אפס‪ ,H0 : F = F0 ,‬והשערה אלטרנטיבית ‪ ,H1 : F = F1‬ובעזרת דגימות נבדוק‬ ‫איזו יותר טובה‪.‬‬ ‫‪18‬‬ ‫– מרחב הדגימות‪ :‬מרחב מופשט רב־ממדי שממנו באות דגימות אקראיות‪ .‬בתוכו יש איזור ‪ R‬שבו נדחה‬ ‫)‪ (Rejection Region‬את ‪ ,H0‬ואיזור ‪ Rc‬שבו נקבל )‪ (Acception Region‬את ‪ .H0‬למשל עבור ‪H0‬‬ ‫מטבע מוטה‪ ,‬ו־ ‪ H1‬מטבע לא מוטה‪ ,‬עבור ‪ HHT HHT H‬רוב האנשים יאמרו לא מוטה‪ ,‬ובכל מקרה‬ ‫‪ ,T T HHT HHT H ∈ Rc‬ו־‪ HHHHHHHHT ∈ R‬לכל הדעות‪ .‬יש לנו שני סוגי טעויות‪:‬‬ ‫‪.false rejection, false positive‬‬ ‫נגדיר )‪) α = PH0 ((X1 , . . . , Xn ) ∈ R‬הסתברות לטעות מסוג ראשון או רמת המובהקות של המבחן(‪,‬‬ ‫) ‪ 1 − β = 1 − PH1 ((X1 , . . . , Xn ) ∈ Rc‬העוצמה של המבחן‪.‬‬ ‫דוגמא‪ .H0 : µ = 3, H1 : µ = 5 ,X ∼ N (µ, 1) :‬אפשר לאמוד את ‪ µ‬ולהחליט למי יותר קרוב‪ ,‬או בדרך‬ ‫אחרת‪.‬‬ ‫ננסה מבחן ‪ Xn < 17‬קבל ‪ H0‬־ כמעט תמיד נקבל‪ .‬האפשרות ל־‪ false rejection‬היא קטנה ביותר‪ ,‬אבל‬ ‫האפשרות לטעות מסוג שני היא גבוהה‪ .‬נחשב את ‪ α‬ו־‪ β‬עבור ‪:Xn < 3.5‬‬ ‫ √‬ ‫‬ ‫‪n‬‬ ‫‪α = PH0 Xn ≥ 3.5 = 1 − Φ‬‬ ‫‪2‬‬ ‫‬ ‫‬ ‫√‬ ‫ √‬ ‫ √‬ ‫‪β = PH1 Xn < 3.5 = P‬‬ ‫‪n Xn − 5 < −1.5 n = 1 − Φ 1.5 n‬‬ ‫ √ ‬ ‫‬ ‫לעומת זאת אם נגדיל את המבחן ל־‪ Xn < 4.5‬נקבל‪,α = PH0 Xn ≥ 4.5 = 1 − Φ 3 2 n :‬‬ ‫‬ ‫‬ ‫√‬ ‫ √‬ ‫√‬ ‫‪.β = PH1 Xn < 4.5 = P‬‬ ‫)‪n Xn − 5 < −0.5 n = 1 − Φ (0.5 n‬‬ ‫‬ ‫√‬ ‫קביעת ‪ α‬מראש‪ :‬נגדיר מבחן ‪ .Xn < c‬מהו ‪ α = PH0 Xn ≥ c ⇒ z1−α = n (c − 3) ?c‬ומכאן ניתן‬ ‫לחלץ את ‪ .c‬מה זה אומר על ‪ ?β‬ככל שננמיך את ‪ α‬נעלה את ‪ .β‬מה כאשר רוצים ‪ α‬או פחות‪ ,‬ו־‪ β‬או פחות‪.‬‬ ‫ניתן לשפר את המצב ע"י הגדלת המדגם‪.‬‬ ‫בס"ד‪ ,‬כ"ו טבת תשע"א‪ :‬שעור ‪24‬‬ ‫‪‬‬ ‫‪H : µ = µ‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪ .‬מבחן‪:‬‬ ‫• דברנו על בדיקת השערות‪ .‬דוגמא‪ X ∼ N (µ, σ 2 ) :‬כאשר ‪ σ‬ידוע‪, µ1 > µ0 .‬‬ ‫‪H : µ = µ‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫)‪√ 0 ≤ c (n‬‬ ‫‪ Xσ/n −µ‬־ קבל ‪ .H0‬המטרה‪ :‬רמת מובהקות )הסתברות לדחייה שגויה( ‪ ,α‬ועוצמה )‪β‬־ הסתברות‬ ‫‪n‬‬ ‫לקבלה שגויה( ‪.1 − β‬‬ ‫‪ .1‬תנאי א'‪.c (n) ≥ z1−α :‬‬ ‫‬ ‫‪ .2‬תנאי ב'‪≤ c (n) ≤ β :‬‬ ‫‪0 −µ‬‬ ‫‪√ 1 ≤ zβ‬‬ ‫‪.c (n) + µσ/‬‬ ‫‪n‬‬ ‫‪Xn −µ‬‬ ‫‪√ 0‬‬ ‫‪σ/ n‬‬ ‫‬ ‫‪ .PH1‬זה זהה ל־‪≤ β‬‬ ‫‬ ‫‪µ0 −µ‬‬ ‫‪√1‬‬ ‫‪σ/ n‬‬ ‫‬ ‫‪ .P Z ≤ c (n) +‬כלומר‬ ‫‪2‬‬ ‫מצירוף שני התנאים נקבל כי ‪≤ zβ‬‬ ‫שיעמוד בתנאים‪.‬‬ ‫) ‪(X=x‬‬ ‫‪P‬‬ ‫‪µ0 −µ‬‬ ‫‪√1‬‬ ‫‪σ/ n‬‬ ‫‪Qn‬‬ ‫‪ .z1−α +‬כלומר‬ ‫) ‪σ 2 (z1−α −zβ‬‬ ‫‪(µ0 −µ1 )2‬‬ ‫≥ ‪ .n‬לאחר מכן ניתן לחפש )‪c (n‬‬ ‫• מבחן יחס הנראות‪ : Qni=1PHH1 (X=xii ) ≥ 1 :‬בודקים את היחס בין פונקציות הנראות של כל אחת מההשערות‪,‬‬ ‫‪i=1‬‬ ‫‪01‬‬ ‫אם הוא גדול מ־‪ 1‬דוחים את ‪ .H0‬מה קורה אם משווים מול קבוע ‪ ?C‬אם ‪ C > 1‬מקטינים את טווח הדחייה‪,‬‬ ‫כלומר מקטינים את ‪ .α‬אם לוקחים ‪ C < 1‬מגדילים את טווח הדחייה‪ ,‬ומקטינים את ‪.β‬‬ ‫‪19‬‬ ‫– נתונה קוביה‪:‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫= )‪.H0 : pX (x‬‬ ‫‪x = 1, 2‬‬ ‫‪‬‬ ‫‪1.5‬‬ ‫‪x = 1, 2‬‬ ‫‪‬‬ ‫‪1‬‬ ‫‪x = 3, 4, 5, 6‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫= )‪ .H1 : pX (x‬מהו יחס הנראות לדוגמא‬ ‫‪8‬‬ ‫= )‪ .L (x‬ננסה לבחור ‪ .C‬בחירות טבעיות‪ :‬עבור ‪ C ≤ 0.75‬יש לנו‬ ‫בודדת?‬ ‫‪0.75 x = 3, 4, 5, 6‬‬ ‫דחייה קבועה‪ ,‬עבור ‪ 0.75 < C ≤ 1.5‬נדחה אם התוצאה תהיה ‪ 1‬או ‪ ,2‬ונקבל אחרת‪ .‬עבור ‪1.5 ≤ C‬‬ ‫תמיד נקבל‪) .‬שתי האפשרויות הקיצוניות לא יעילות כמבחן(‪.‬‬ ‫• משפט ניימן־פירסון‪ :‬נתון ערך קריטי ‪ C‬וסטטיסטי מבחן ) ‪R .L (X1 , . . . , Xn‬־ איזור הדחייה כאשר‬ ‫) ‪P (X ,...,X‬‬ ‫‪ .L (X1 , . . . , Xn ) = PHH1 (X11 ,...,Xnn ) ≥ C‬נסמן ב־)‪ ,α = PH0 (R‬ו־)‪ .1 − β = PH1 (R‬נתון מבחן אחר‪.‬‬ ‫‪0‬‬ ‫נסמן ב־‪ S‬את קבוצת הדחייה‪ .‬ב־)‪ .α0 = PH0 (S) , 1 − β = PH1 (S‬אזי‪ :‬אם ‪ ,α0 < α‬אז ‪1 − β 0 < 1 − β‬‬ ‫)אי אפשר לשפר את היחס בין ‪ α‬ל־‪ β‬ע"י בחירת מבחן אחר‪ .‬תמיד מבחן יחס הנראות יהיה הכי טוב(‪.‬‬ ‫• ‪ :P − V alue‬נתון סטטיסטי מבחן ) ‪ .w (X1 , . . . , Xn‬וכלל דחייה מצורת ‪.α (C) = PH0 (w ≥ C) .w () ≥ C‬‬ ‫קבלנו מדגם ספציפי‪ .‬מתוכו יש לנו ˆ‪ .w‬מגיע מדגם חדש‪ .‬האם הוא "יותר קיצוני" מהמדגם הקודם? )כלומר יותר‬ ‫רחוק מ־ ‪ .(H0‬נשווה בין ‪ wˆA‬ו־ ‪ .wˆB‬אם השני גבוה יותר‪ ,‬הוא יותר קרוב לאיזור הדחייה‪ .‬מה ההסתברות שמדגם‬ ‫מקרי יהיה יותר קיצוני מזה שהוביל ל־ ‪ ?wˆA‬פורמלית נרשום את ההסתברות ‪.P (w (X1 , . . . , Xn ) ≥ wˆA ) = ε‬‬ ‫ככל ש־‪ ε‬קטן‪ ,‬יותר קשה לראות מדגם שערך הסטטיסטי שלו גדול יותר‪.‬‬ ‫כעת נגדיר‪ :‬ערך ‪ p‬של המדגם ) ‪ .Pv = PH0 (w (X1 , . . . , Xn ) ≥ wˆA ) = α (wˆA‬זוהי פונקציה של מדגמים‪.‬‬ ‫פרשנות‪ :‬הסתברות לקבל מדגם קיצוני כמו זו שהתקבלה או יותר‪ ,‬תחת ‪.H0‬‬ ‫בס"ד‪ ,‬ר"ח שבט תשע"א‪ :‬שעור ‪25‬‬ ‫• בדיקת השערות סטנדרטית‪ :‬נתון מדגם ‪ .i.i.d. X1 , . . . , Xn‬הגדרנו סטטיסטי מבחן ) ‪ .w (X1 , . . . , Xn‬השוונו‬ ‫את )( ‪ w‬לערך של ‪ ,c‬ודחינו את ‪ H0‬אם ‪ α .w () > c‬ביחס הפוך ל־‪) .c‬ראינו כמה כיוונים לקבוע חלק‬ ‫מהנתונים ולחלץ את האחרים(‪.‬‬ ‫ˆ‪ .‬נניח שלא קבענו סף ‪ c‬מראש‪ .‬כמה מדגמים יהיו יותר‬ ‫• ‪ :P-value‬קבלנו ממדגם מסויים ) ‪c = wˆ (X1 , . . . , Xn‬‬ ‫קיצוניים? ))( ˆ‪ .Pv (x1 , . . . , xn ) = PH0 (w () ≥ w‬ככל ש־ ‪ Pv‬גבוה יותר‪ ,‬זו סיבה לקבל את ‪.H0‬‬ ‫– למשל מטבע‪ .H0 : p = 0.5, H1 : p = 0.9 ,‬המדגם הוא ‪" .1, 1, 1, 1, 0, 1‬כנראה" ‪ .H1‬ניתן לבדוק מה‬ ‫הסיכוי לראות מדגם שפחות מתאים ל־ ‪) H0‬מדגם יותר קיצוני(‪.‬‬ ‫‬ ‫ ‬ ‫‬ ‫‪5‬‬ ‫‪6‬‬ ‫‪1‬‬ ‫‪7‬‬ ‫=‬ ‫‪+1‬‬ ‫=‬ ‫‪= 0.11‬‬ ‫≥ ‪Pv (1, 1, 1, 1, 0, 1) = PH0 (w (X1 , . . . , X6 ) ≥ wˆ (1, 1, 1, 1, 0, 1)) = PH0 X6‬‬ ‫‪6‬‬ ‫‪5‬‬ ‫‪64‬‬ ‫‪64‬‬ ‫– ניתן לקבוע מבחן‪ :‬נדחה את ‪ H0‬אם ‪ Pv () ≤ ε‬שזה שקול אם היינו קובעים את ‪ C‬כך ש־‪.α = ε‬‬ ‫– סיבה‪ :‬הגדרה יותר אינטואיטיבית לבדיקת השערות‪ .‬נזכור כי ‪ Pv‬מתפלג אחיד‪.‬‬ ‫• בדיקת השערות מורכבות ‪.composite hypothesis testing‬‬ ‫– למשל ) ‪ ,X ∼ N (µ, σ 2‬עם ‪ .H0 : µ = µ0 , H1 : µ > µ0‬ניקח את הסטטיסטי והמבחן ‪√ 0 ≥ z1−α‬‬ ‫‪. X−µ‬‬ ‫‪σ/ n‬‬ ‫זה שקול ל־ ‪ .µ0 ≤ X − √σn z1−α‬כלומר רווח סמך חד צדדי‪.PH0 (w () > z1−α ) = α .‬‬ ‫‬ ‫‬ ‫‪√ 0 ≥ z1−α‬‬ ‫‪ .1 − β = PH1 X−µ‬אם היינו משנים את ‪ H1‬ל־ ‪ µ 6= µ0‬היינו מקבלים רווח סמך דו"צ‪.‬‬ ‫‪σ/ n‬‬ ‫‪20‬‬ ‫• תהליכים מרקוביים )מכאן לא למבחן(‬ ‫דוגמא‪ :‬שירות לקוחות מתעניינים במספר האנשים בתור‪ .‬יודעים שבכל דקה יש הסתברות ‪ p‬ללקוח חדש‪ .‬מה‬ ‫הסיכוי ל־‪ k‬לקוחות אחרי ‪ n‬דקות‪.‬‬ ‫בעולם יש }‪ {1, . . . , m‬מצבים )נעבוד רק עם דברים סופיים(‪ .‬הנחת המרקוביות היא = ) ‪P (Xn+1 | X0 , . . . , Xn‬‬ ‫) ‪ .P (Xn+1 | Xn‬כאשר ‪ Xn‬הוא מצב העולם בשלב ‪ .n‬נגדיר ‪X0‬־ מצב התחלתי נתון או הסתברות עליו‪.‬‬ ‫– נניח שיש לנו גרף מצבים }‪ {−2, −1, 0, 1, 2‬עם מטריצת מעבר‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪3‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪-1‬‬ ‫‪-2‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪3‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪-2‬‬ ‫‪-1‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫עלינו למצוא את )‪ .P (Xn = i | X0 = 0‬יש כמה דברים שעלינו לברר‪:‬‬ ‫‪ .1‬האם זה מתכנס?‬ ‫‪1‬‬ ‫‪2‬‬ ‫זמן‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫‪n‬‬ ‫‪n+1‬‬ ‫‪-1‬‬ ‫‪-2‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪16‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫‪8‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪4‬‬ ‫‪1‬‬ ‫‪16‬‬ ‫‪2‬‬ ‫‪7‬‬ ‫‪1‬‬ ‫‪7‬‬ ‫‪1‬‬ ‫‪7‬‬ ‫‪1‬‬ ‫‪7‬‬ ‫‪2‬‬ ‫‪7‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪7‬‬ ‫‪n‬‬ ‫‪n+1‬‬ ‫<‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪5‬‬ ‫אם זה יתכנס למשהו לא אחיד ־ תמיד יהיה שוני בשלב הבא‪.‬‬ ‫‪ .2‬לאן?‬ ‫‪ .3‬כמה מהר?‬ ‫– מה קורה בהתכנסות? ‪Πj‬־ ההסתברות להיות במצב ‪ j‬כאשר ∞ → ‪.(Steady-state distribution) n‬‬ ‫‪P‬‬ ‫‪Pm‬‬ ‫‪Πi = m‬‬ ‫= )‪ .P (Xn+1 = i‬באיזון נקבל ‪j=1 Πj Pj→i‬‬ ‫באופן כללי )‪j=1 P (Xn = j) P (Xn+1 = i | Xn = j‬‬ ‫כאשר )‪.Pj→i = P (Xn+1 = i | Xn = j‬‬ ‫בס"ד‪ ,‬ד' שבט תשע"א‪ :‬שעור ‪26‬‬ ‫• תהליכים מרקוביים‪:‬‬ ‫‪ .1‬יש מצבי עולם }‪.{1, . . . , m‬‬ ‫‪21‬‬ ‫)א( יש הסתברות למעבר בין מצבי העולם ‪) P (Xn+1 = i | Xn = j) = pji = pj→i‬הנחות‪ :‬הכל בדיד‪pji ,‬‬ ‫לא משתנה בזמן )הומוגני((‪.‬‬ ‫)ב( ‪ X0‬נתון או הסתברות‪.‬‬ ‫‪P‬‬ ‫• הגדרה‪ :‬התפלגות סטציונארית‪) (∀j) , Πj = i Πi pij :‬בעצם )‪P (Xn = i) P (Xn+1 = j | Xn = i‬‬ ‫־ תנאי דינמיקה כללי‪ ,‬תמיד נכון מנוסחת ההסתברות השלמה(‪.‬‬ ‫‪i‬‬ ‫‪P‬‬ ‫= )‪P (Xn+1 = j‬‬ ‫– דוגמא‪ :‬לפרופסור מפוזר שתי מטריות שהוא משתמש בהם בדרך לעבודה או חזרה‪ .‬אם יורד גשם‬ ‫)בהסתברות ‪ (p‬ויש מטריה לידו הוא לוקח אותה‪ ,‬אחרת הוא שוכח את המטריה‪ .‬מה הסתברות‬ ‫ההירטבות לאורך זמן? מצבי העולם‪ :‬מספר המטריות לידו }‪ .{0, 1, 2‬צעד בין מצבים‪ :‬ממצב ‪ 0‬תמיד‬ ‫נעבור בהסתברות ‪ 1‬למצב ‪ .2‬ממצב ‪ 2‬נעבור בהסתברות ‪ p‬למצב ‪ ,1‬ובהסתברות ‪ 1 − p‬למצב ‪ .0‬ממצב ‪1‬‬ ‫נעבור למצב ‪ 2‬בהסתברות ‪ ,p‬ונישאר במצב בהסתברות ‪ .1 − p‬ננסה לשלוף את ההתפלגות הסטציונרית‪:‬‬ ‫‪Π0 = (1 − p) Π2‬‬ ‫‪Π1 = (1 − p) Π1 + pΠ2‬‬ ‫‪Π2 = Π0 + pΠ1‬‬ ‫‪1−p‬‬ ‫= ‪Π0‬‬ ‫‪3−p‬‬ ‫‪1‬‬ ‫= ‪Π1 = Π2‬‬ ‫‪3−p‬‬ ‫• הגדרות‪:‬‬ ‫‪ .1‬מצב ‪ i‬ייקרא נגיש ‪ accessible‬מ־‪ j‬אם קיים ‪ n‬כך ש־‪.P (Xn = i | X0 = j) > 0‬‬ ‫‪ .2‬מצב ‪ i‬נקרא ‪ recurrent‬או חוזר על עצמו אם ‪ i‬נגיש מכל ‪ j‬שנגיש מ־‪.i‬‬ ‫‪ .3‬אם ‪ 2‬לא מתקיים המצב נקרא ‪) transient‬חולף(‪.‬‬ ‫• משפט‪ :‬נסמן ב־)‪ A (i‬את אוסף המצבים הנגישים מ־‪) i‬כולל אולי ‪ i‬עצמו(‪ .‬אם ‪ i‬הוא ‪ recurrnt‬אזי‬ ‫)‪ A (i) = A (j‬לכל ‪ j‬נגיש ממנו‪ .‬המחלקה )‪ A (i‬נקראת ‪.recurrent class‬‬ ‫נגביל את עצמנו לתהליכים עם מחלקת ‪ recurrent‬אחת‪ .‬אנו מחפשים התפלגויות שאינן תלויות ב־‪ ,n‬ואינן‬ ‫תלויות ב־ ‪.X0‬‬ ‫• מחלקה תיקרא מחזורית אם ניתן לחלק את המצבים בה ל־ ‪ S1 , . . . , Sk‬כך שמכל ‪ Si‬עוברים בהסתברות ‪1‬‬ ‫ל־ ‪ Sj‬אחר‪.‬‬ ‫• משפט‪ :‬אם ב־‪ M C‬יש מחלקה אחת לא מחזורית אזי קיימת התפלגות סטציונארית יחידה שלא תלויה ב־ ‪X0‬‬ ‫כך ש־‪ Πj = 0‬עבור כל מצב טרנזינטי‪ ,‬ו־‪ Πj > 0‬עבור כל מצב שהוא במחלקה‪.‬‬ ‫– דוגמא עובד בעל אמונות טפלות עובד בבניין מעגלי עם ‪) m‬אי־זוגי( דלתות‪ ,‬בהסתברות ‪ p‬לדלת קדימה‪,‬‬ ‫ו־‪ 1 − p‬לדלת אחורה‪ .‬אם ‪ p = 0, 1‬זו תהיה מחזוריות בין ‪ m‬הדלתות‪ ,‬ואם ‪ m‬זוגי‪ ,‬תהיה מחזוריות בין‬ ‫הדלתות עם מספר זוגי לדלתות עם מספר אי זוגי‪ .‬יש לנו ‪ m‬משוואות‪) Πi = Πi−1 p + Πi+1 (1 − p) :‬עם‬ ‫‪22‬‬ ‫שינויים ב‪ .(1, m‬משיקולי סימטריה‪ ,‬נבחר‬ ‫ההתפלגות היחידה‪.‬‬ ‫‪1‬‬ ‫‪m‬‬ ‫= ‪ ,Πi‬ונוודא שזה מקיים את המשוואות‪ .‬לפי המשפט זוהי‬ ‫• משפט החתך‪ :‬נניח שניתן לחלק את אוסף המצבים ל־ ‪S1 , S2‬חלוקה זרה עם מעברים ביניהם‪ .‬נגדיר‬ ‫‪P‬‬ ‫‪ ΠS1 = i∈S1 Πi‬אזי ‪.ΠS1 · P (S1 → S2 ) = ΠS2 · P (S2 → S1 ) :‬‬ ‫– תהליך לידה\מוות הוא כזה שמכל מצב אפשר לעבור רק למצב "שכן"‪.‬‬ ‫)‪bi = P (Xn+1 = i + 1 | Xn = i) , di = P (Xn+1 = i − 1 | Xn = i‬‬ ‫לפי משפט החתך‪ ,‬מתקיים ‪.Πi bi = Πi+1 di+1‬‬ ‫הוכחה‪ Π0 (1 − b0 ) + Π1 d1 = Π0 :‬לפי הגדרה‪ .‬כלומר ‪ .Π0 b0 = Π1 d1‬באופן דומה‬ ‫‪ ,Π1 = Π0 b0 + Π1 (1 − b1 − d1 ) + Π2 d2‬ומכאן ‪ .Π2 d2 = Π1 b1‬ניתן להמשיך באינדוקציה‪ .‬עבור משפט‬ ‫החתך עצמו יש לבצע את כל החישוב על סכום עבור כל המצבים ב־ ‪.S1 , S2‬‬ ‫תרגולים‪:‬‬ ‫בס"ד‪ ,‬ז' כסלו תשע"א‪ :‬תרגול ‪ 6‬התפלגות משותפת‬ ‫פונקצית הסתברות משותפת‪ P (X = x, Y = y) = PX (x) PY (y) :‬עבור ב"ת‪.‬‬ ‫)‪=y‬‬ ‫‪.P (X = x | Y = y) = P (X=x,Y‬‬ ‫הסתברות מותנית‪:‬‬ ‫)‪P (Y =y‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫הסתברות שולית‪.pX (x) = y pX,Y (x, y) = y P (X = x | Y = y) pY (y) :‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫תוחלת מותנית‪ .E [X | Y = y] = x xpX,Y =y (x) :‬וכן )‪.E [E [X | Y ]] = y E (X | Y = y) pY (y‬‬ ‫דוגמא‪ .Y | X ∼ Bin (x, p) ,X ∼ Geo (p) :‬מה ההתפלגות )‪?pY (0‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫∞‪P‬‬ ‫‪2x‬‬ ‫‪x‬‬ ‫‪x−1‬‬ ‫∞ ‪=p‬‬ ‫∞ = )‪pY (0) = x=1 P (Y = 0 | X = x) P (X = x‬‬ ‫‪x=0 q‬‬ ‫‪x=1 q pq‬‬ ‫דוגמא‪ :‬סוחר בבורסה קונה ‪ 100‬מניות מסוג ‪ A‬ומאתיים מסוג ‪ .B‬נגדיר ‪X‬־ שינוי יומי אבסולוטי של מחיר מניה‬ ‫‪Y .A‬־ למניה ‪ X, Y .B‬מפולגים בצורה אחידה על התחום ‪.−1 < y − x < 1 ,−2 < x < 4‬‬ ‫‪4‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪3‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪2‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪-2‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪0‬‬ ‫‪Y/X‬‬ ‫‪-3‬‬ ‫‪-2‬‬ ‫‪-1‬‬ ‫‪0‬‬ ‫‪-1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫‪3‬‬ ‫‪4‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪1‬‬ ‫‪21‬‬ ‫‪y = −3, 5‬‬ ‫נסכום כל ערך בטבלה‪ ,‬או כל שורה וכל עמודה‪ .‬ונראה כי‬ ‫‪1‬‬ ‫‪7‬‬ ‫= )‪ ,pX (x‬אולם‬ ‫‪y = −2, 4‬‬ ‫‪‬‬ ‫‪1‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪ 21‬‬ ‫‪2‬‬ ‫‪21‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪1‬‬ ‫‪−1 ≤ y ≤ 3‬‬ ‫)‪ X ∼ U (−2, 4‬ולכן ‪.E [X] = 1‬אך גם ‪ ,E [Y ] = 1‬ולכן תוחלת הרווח ליום היא ‪.100 + 200 = 300‬‬ ‫‪23‬‬ ‫‪7‬‬ ‫= )‪.pY (y‬‬ ‫דוגמא‪n + 1 :‬כדים ממוספרים ‪ 1, 2, . . . , n + 1‬כך שבכד ‪ i‬יש ‪ i‬כדורים לבנים והשאר שחורים ובסה"כ ‪n + 1‬‬ ‫כדורים בכל כד‪ .‬מטילים מטבע עם הסתברות ‪ p‬לעץ ‪ n‬פעמים‪ .‬אם התקבלו ‪ k‬עצים בוחרים את כד ‪ .k + 1‬מוציאים‬ ‫‬ ‫‪x+1‬‬ ‫כדורים עם החזרה עד לקבלת לבן‪ .‬מהי תוחלת מספר ההוצאות‪ .‬בקיצור‪,X ∼ Bin (n, p) :‬‬ ‫‪.Y | X ∼ Geo n+1‬‬ ‫?= ] ‪E [Y‬‬ ‫‬ ‫‬ ‫‪Pn‬‬ ‫‪Pn‬‬ ‫‪n x n−x x+1 n−x y−1‬‬ ‫תשובה‪:‬‬ ‫‪.pY (y) = x=0 P (Y = y | X = x) pX (x) = x=0 x p q‬‬ ‫‪n+1 n+1‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫∞‪P‬‬ ‫‪Pn‬‬ ‫‪Pn‬‬ ‫‪Pn‬‬ ‫∞‪n x n−x P‬‬ ‫‪n x n−x n+1‬‬ ‫‪n+1 x+1 n−x‬‬ ‫‪x+1 n−x y−1‬‬ ‫‪1‬‬ ‫‪E [Y ] = y=1 ypY (y) = x=0 x p q‬‬ ‫‪p q‬‬ ‫‪= x=0 x p q‬‬ ‫=‬ ‫‪y=1 y n+1 n+1‬‬ ‫‪x=0‬‬ ‫‪x+1‬‬ ‫‪x+1‬‬ ‫‪p‬‬ ‫בס"ד‪ ,‬י"ד כסלו תשע"א‪ :‬תרגול ‪7‬‬ ‫מ"מ רציפים‬ ‫∞´‬ ‫‪ X‬מ"מ רציף עם פונקצית צפיפות )‪ .fX (x‬מקיימת ‪ −∞ fX (x) dx = 1‬ו־‪ .fX (x) ≥ 0‬יש לנו פונקצית התפלגות‬ ‫∞´‬ ‫∞´‬ ‫‪´x‬‬ ‫מצטברת ‪ ,FX (x) = P (X < x) = −∞ fX (t) dt‬תוחלת‪E [X 2 ] = −∞ x2 fX (x) dx ,E [X] = −∞ xfX (x) dx :‬‬ ‫∞´‬ ‫או באופן כללי ‪.E [g (x)] = −∞ g (x) fX (x) dx‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪0‬‬ ‫‪x<0‬‬ ‫‪‬‬ ‫‪‬‬ ‫דוגמא‪ X :‬מ"מ רציף עם ‪ .FX (x) = xn 0 ≤ x < 1 ,(Commulative D Function) CDF‬עבור ‪ .n > 0‬אזי‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪1‬‬ ‫‪x≥1‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪0‬‬ ‫‪x<0‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪´ 1 n−1‬‬ ‫‪1‬‬ ‫‪ ,fX (x) = F 0 (x) = nxn−1 0 ≤ x < 1‬נראה כי זו צפיפות‪ 0 nx dx = [xn ]0 = 1 :‬התוחלת‬ ‫‪‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪0‬‬ ‫‪x≥1‬‬ ‫‬ ‫‪1‬‬ ‫´‬ ‫´‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪ E [X 2 ] = 0 x2 nxn−1 dx = n+2‬ולכן‬ ‫‪ .E [X] = 0 xnxn−1 dx = n+1‬השונות‪:‬‬ ‫‪xn+1 0 = n+1‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪.V‬‬ ‫‪ar‬‬ ‫)‪(X‬‬ ‫=‬ ‫‪−‬‬ ‫‪n+2‬‬ ‫‪n+1‬‬ ‫‪‬‬ ‫‪ 3+ax2 0 < x < 1‬‬ ‫‪b‬‬ ‫דוגמא‪:‬‬ ‫= )‪ E [x] = 85 ,fX (x‬חשב את ‪ a, b‬ואת )‪ .V ar (x‬נפתור שתי משוואות‪:‬‬ ‫‪0‬‬ ‫‪ˆ1‬‬ ‫‪a‬‬ ‫‪1‬‬ ‫‪3+‬‬ ‫= ‪dx‬‬ ‫‪b‬‬ ‫‪3‬‬ ‫‬ ‫‬ ‫‪3‬‬ ‫‪2‬‬ ‫‪3 + ax‬‬ ‫‪1‬‬ ‫= ‪1‬‬ ‫‪b‬‬ ‫‪0‬‬ ‫‪a‬‬ ‫‪3‬‬ ‫‬ ‫‪3 a‬‬ ‫‪+‬‬ ‫‪2 4‬‬ ‫‬ ‫‪1‬‬ ‫= ‪dx‬‬ ‫‪b‬‬ ‫‪b = 3+‬‬ ‫‪ˆ1‬‬ ‫‪3x + ax‬‬ ‫‪5‬‬ ‫‪1‬‬ ‫=‬ ‫‪8‬‬ ‫‪b‬‬ ‫‪0‬‬ ‫‪b = 6‬‬ ‫‪a = 9‬‬ ‫ולכן‬ ‫‪0<x<1‬‬ ‫‪‬‬ ‫‪ 1 + 3 x2‬‬ ‫‪,fX (x) = 2 2‬‬ ‫‪0‬‬ ‫‪3‬‬ ‫‪10‬‬ ‫‪+‬‬ ‫‪1‬‬ ‫‪6‬‬ ‫‬ ‫= ‪+ 32 x4 dx‬‬ ‫טענה‪ :‬לכל משתנה מקרי ‪ X‬אי שלילי ‪(1 − FX (x)) dx‬‬ ‫‪24‬‬ ‫∞´‬ ‫‪0‬‬ ‫‪´ 1 x2‬‬ ‫‪2‬‬ ‫‪0‬‬ ‫= ] ‪E [X 2‬‬ ‫= )‪E (X‬‬ ‫הוכחה‪ :‬עבור מ"מ בדיד )טבעיים(‬ ‫‪∞ X‬‬ ‫∞‬ ‫‪X‬‬ ‫= )‪pX (i‬‬ ‫= )‪P (X > x‬‬ ‫‪x=0 i=x+1‬‬ ‫∞‬ ‫‪X‬‬ ‫= ))‪(1 − P (X ≤ x‬‬ ‫‪x=0‬‬ ‫∞‬ ‫‪X‬‬ ‫= ]‪E [X‬‬ ‫‪x=0‬‬ ‫= ‪= pX (1) + pX (2) + pX (3) + . . . + pX (2) + pX (3) + . . . + pX (3) + . . .‬‬ ‫∞‬ ‫‪X‬‬ ‫= ‪= 1 · pX (1) + 2pX (2) + . . .‬‬ ‫]‪xpX (x) = E [X‬‬ ‫‪x=0‬‬ ‫עבור המשתנים הרציפים‪:‬‬ ‫∞ˆ‬ ‫]‪fX (t) tdt = E [X‬‬ ‫‪ˆt‬‬ ‫= ‪dxdt‬‬ ‫‪0‬‬ ‫∞ˆ‬ ‫)‪fX (t‬‬ ‫‪0‬‬ ‫‪ˆ∞ ˆ t‬‬ ‫= ‪fX (t) dxdt‬‬ ‫‪0‬‬ ‫∞ˆ ∞ˆ‬ ‫= ‪(1 − FX (x)) dx‬‬ ‫= ‪fX (t) dtdx‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫∞ˆ‬ ‫‪x‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫בס"ד‪ ,‬כ"א כסלו תשע"א‪ :‬תרגול ‪8‬‬ ‫• צפיפות משותפת מותנית‪:‬‬ ‫– תזכורת‪ X, Y :‬מ"מ רציפים‪ ,‬נסמן את פונ' הצפיפות המשותפת של ‪ X‬ו־ ‪ .fX,Y (x, y) :Y‬אם ‪ X, Y‬ב"ת‬ ‫´‬ ‫´‬ ‫אזי )‪ .fX,Y (x, y) = fX (x) fY (y‬ובכל מקרה ‪.fX (x) = y fX,Y (x, y) dy = y fX|Y =y (x) fY (y) dy‬‬ ‫‪f‬‬ ‫)‪(x,y‬‬ ‫כאשר ההגדרה של צפיפות מותנית היא‪:‬‬ ‫‪.fX|Y =y (x) = X,Y‬‬ ‫)‪fY (y‬‬ ‫– דוגמא‪ :‬נתון מקל באורך ‪ ,l‬שוברים אותו בנקודה אקראית )מפילוג אחיד( ונסמן ‪Y‬־ אורך המקל מהקצה‬ ‫השמאלי ועד הנקודה‪ .‬שוברים את המקל הקטן‪ ,‬ונסמן ‪X‬־ אורך המקל השמאלי שנותר לנו ביד‪ .‬נחשב‬ ‫את )‪ .E [XY ] ,E [X] ,fX (x) ,fX,Y (x, y‬נזכור כי )‪X | Y = y ∼ U (0, y) ,Y ∼ (0, l‬‬ ‫‪‬‬ ‫‪1 0<x<y <l‬‬ ‫∗ ‪ fX,Y (x, y) = fX|Y =y (x) fY (y) = yl1‬או ליתר דיוק‪:‬‬ ‫‪.fX,Y (x, y) = yl‬‬ ‫‪0 otherwise‬‬ ‫‪´l‬‬ ‫‪´l‬‬ ‫∗ ‪.fX (x) = x fX,Y (x, y) dy = 1l x y1 dy = 1l ln xl‬‬ ‫‪´l‬‬ ‫∗ ‪ .E [X] = 0 xl ln xl dx‬נשתמש בתכונה של ]] ‪ .E [X] = EY [EX [X | Y‬ולכן ‪E [X | Y = y] = y2‬‬ ‫ ‬ ‫ונקבל ‪.E [X] = E Y2 = 4l‬‬ ‫‪´l´y‬‬ ‫∗ ‪ ,E [XY ] = 0 0 ly1 xydxdy‬אבל נשתמש בתכונה של ]] ‪ ,E [XY ] = E [E [XY | Y‬כאשר‬ ‫‪h 3 il‬‬ ‫‪h 2i‬‬ ‫‪´l‬‬ ‫‪2‬‬ ‫‪ ,E [Y | Y = y] = y‬ולכן ‪.E [XY ] = E [Y E [X | Y ]] = E Y2 = 2l1 0 y 2 dy = 2l1 y3 = l6‬‬ ‫‪0‬‬ ‫– דוגמא‪ :‬אתם מגיעים לקניון ומבקרים במספר מקרי ‪ N‬של חנויות‪ .‬בכל אחת מהחנויות אנחנו מבזבזים‬ ‫‪P‬‬ ‫‪ Xi‬כסף‪ .‬נסמן ‪ .T = ni−1 Xi‬נניח ‪ n‬שלם וחיובי‪ .‬נניח ‪ Xi‬ב"ת שווי התפלגות עם ]‪ E [X‬ו־)‪V ar (X‬‬ ‫נתונים‪ ,‬ובנוסף כולם ב"ת ב־ ‪.N‬‬ ‫טענה‪.V ar (T ) = V ar (X) E [N ] + E 2 [X] V ar (N ) .E [T ] = E [X] E [N ] :‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫]] ‪ E [T ] = E [ Xi ] = E [E [ Xi | N‬אבל ]‪ ,E [ Xi | N ] = nE [X‬ולכן‬ ‫] ‪ .E [T 2 ] = E [E [T 2 | N ]] .E [T ] = EN [nE [X]] = E [X] E [N‬החלק הפנימי הוא‬ ‫‪25‬‬ 2 E T |N = E hX Xi X i X Xj = nE X 2 + E [Xi ] E [Xj ] = nE X 2 + n (n − 1) E 2 [X] i6=j E T 2 = E nE X 2 + n (n − 1) E 2 [X] = E [N ] E X 2 + E N 2 E 2 [X] − E [N ] E 2 [X] = = E [N ] V ar (X) + E N 2 E 2 [X] V ar (T ) = E T 2 − E 2 [T ] = E [N ] V ar (X) + E N 2 E 2 [X] − E 2 [X] E 2 [N ] = = E [N ] V ar (X) + E 2 [X] V ar (N ) ‫ ־ טרנספורמציות של מ"מ‬9 ‫ תרגול‬:‫ ה' טבת תשע"א‬,‫בס"ד‬ −1 .fY (y) = fX (g −1 (y)) ∂g ∂y(y) :‫ אז‬,‫ טרנ' מונוטונית‬Y = g (X) ,‫ מ"מ רציף‬X ‫ אם‬:‫• טענה‬ .E [Y ] ‫ נחשב את‬.Y = ln g (x) = ln 1 (1 − x)3 1 (1−x)3 ,X ∼ U (0, 1) :‫• דוגמא‬ y 1 − y3 ⇒ g −1 (y) = 1 − e− 3 3 ⇒ 1−x = e (1 − x)   1 e− y3 y ≥ 0 1 ‫ ולכן‬,fX (x) = 1 .E [Y ] = 3 ‫ ולכן‬,Y ∼ exp 3 ‫ כלומר‬.fY (y) = 3 0 = y ⇒ ey = ,0 ≤ 1 ≤ 0 ‫ אבל נשים לב כי‬.‫ זוהי טרנספורמציה לא מונוטונית‬Y = FY (y) = P (Y ≤ y) = P p |x| ,X ∼ U (−1, 1) ‫– אבל אם‬ ‫ו־‬ p |x| ≤ y = P |X| ≤ y 2 = P −y 2 ≤ X ≤ y 2 = FX y 2 −FX −y 2 = y 2 .fY (y) = 2y ‫ולכן‬ :‫ תכונות‬.X ‫ היא הפי"מ של‬mX (s) = E [esx ] ‫ אז‬,‫ מ"מ‬X :‫• פונקציות יוצרות מומנטים‬ .E X k = ∂mX (s) |s=0 ∂sk .1 .mY (s) = esb mX (at) ‫ אז‬Y = aX + b ‫ אם‬.2 Q P .((mX1 (s))n ‫ )אם הם ש"ה אז זה‬.mY (s) = mXi (s) ‫ אז‬Y = Xi ‫ ו־‬, ‫ ב"ת‬X1 , . . . , Xn ‫ אם‬.3 ?mY (s) ‫ מהי‬.Y = P Xi ‫ ו־‬,N ∼ P ois (λ) ,Xi ∼ Ber (p)‫ מ"מ ב"ת ש"ה כך ש־‬,X1 , . . . , XN :‫– דוגמא‬ 26 ‫‬ ‫ ‬ ‫‬ ‫‬ ‫‪mY (s) = E X Y s = E E eY s | N‬‬ ‫‪mXi (s) = (mX1 (s))N = (1 − p + pes )N‬‬ ‫‪N‬‬ ‫‪Y‬‬ ‫= )‪(s‬‬ ‫‪Xi‬‬ ‫‪mPN‬‬ ‫‪i=1‬‬ ‫=‬ ‫‬ ‫‪|N‬‬ ‫‪Ys‬‬ ‫‬ ‫‪E e‬‬ ‫‪i=1‬‬ ‫∞‬ ‫‪h‬‬ ‫‪i X‬‬ ‫‪ Ys‬‬ ‫‬ ‫‪λn‬‬ ‫‪s N‬‬ ‫= ) ‪mY (s) = E E e | N = E (1 − p + pe‬‬ ‫= ‪e−λ (1 − p + pes )n‬‬ ‫!‪n‬‬ ‫‪n=0‬‬ ‫)‪s −1‬‬ ‫‪s‬‬ ‫‪= e−λ eλ(1−p+pe ) = eλp(e‬‬ ‫∞‬ ‫‪X‬‬ ‫‪(λ − λp + λpes )n‬‬ ‫!‪n‬‬ ‫‪= e−λ‬‬ ‫‪n=0‬‬ ‫)‪⇒ Y ∼ P ois (λp‬‬ ‫)‪∂mY (s‬‬ ‫‪s‬‬ ‫= ] ‪E [Y‬‬ ‫‪|s=0 = λpeλp(e −1) |s=0 = λpe0 = λp‬‬ ‫‪∂s‬‬ ‫• קונבולוציה‪ :‬אם ‪ X, Y‬מ"מ ב"ת‪ ,Z = X + Y ,‬אז ‪fX (x) fY (z − x) dx‬‬ ‫´‬ ‫‪x‬‬ ‫‪P‬‬ ‫– דוגמא‪ X1 , . . . , Xn :‬ב"ת כך ש־ ) ‪Xi ∼ P ois ( λi ) ,Xi ∼ P ois (λi‬‬ ‫= )‪fZ (z‬‬ ‫‪P‬‬ ‫= ‪.Y‬‬ ‫הוכחה באינדוקציה‪ :‬עבור ‪ ,Y = X1 + X2 ,n = 2‬לפי נוסחת הקונבולוציה‪,‬‬ ‫ ‪y‬‬ ‫‪e−(λ1 λ2 ) X y k y−k‬‬ ‫‪λ2y−k‬‬ ‫‪(λ1 + λ2 )y‬‬ ‫=‬ ‫) ‪λ1 λ2 = e−(λ1 +λ2‬‬ ‫!)‪(y − k‬‬ ‫!‪y‬‬ ‫‪k‬‬ ‫!‪y‬‬ ‫‪k=0‬‬ ‫‪k‬‬ ‫‪−λ1 λ1 −λ2‬‬ ‫‪e‬‬ ‫!‪k‬‬ ‫‪e‬‬ ‫‪y‬‬ ‫‪X‬‬ ‫‪k=0‬‬ ‫= )‪pX1 (k) pX2 (y − k‬‬ ‫∞‬ ‫‪X‬‬ ‫= )‪pY (y‬‬ ‫‪k=0‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪ ,Y = ni=1 Xi = Xn + n−1‬כאשר‬ ‫ולכן ) ‪ .Y ∼ P ois (λ1 + λ2‬נניח נכונות עבור ‪i=1 Xi :n − 1‬‬ ‫ ‪Pn−1‬‬ ‫‪Pn−1‬‬ ‫‪Pn‬‬ ‫‪Xi ∼ P ois‬‬ ‫‪ i=1‬לפי הנחת האינדוקציה‪ ,‬ולכן ) ‪ Y ∼ P ois ( i=1 λi‬לפי הבסיס של חיבור‬ ‫‪i=1 λi‬‬ ‫‪ 2‬משתני פואסון‪.‬‬ ‫בס"ד‪ ,‬י"ב טבת תשע"א‪ :‬תרגול ‪10‬‬ ‫• התפלגות נורמלית )‪ .Z ∼ N (0, 1‬באופן כללי ) ‪.X ∼ N (µ, σ 2‬‬ ‫‪(x−µ)2‬‬ ‫‪X−µ‬‬ ‫‪σ‬‬ ‫= ‪ .X = σZ + µ ⇔ Z‬ראינו את‬ ‫‪1‬‬ ‫‪.FZ (z) = P (Z ≤ z) = Φ (z) ,fX (x) = √2πσ‬‬ ‫פונקצית ההתפלגות ‪e− 2σ2‬‬ ‫‬ ‫‬ ‫‪X−µ‬‬ ‫‪49−53‬‬ ‫√‬ ‫‪.P (X < 49) = P‬‬ ‫דוגמא‪< 4 = Φ (−2) = 1 − Φ (2) = 1 − 0.9772 = 0.0228 .X ∼ N (53, 4) :‬‬ ‫‪σ‬‬ ‫נתון כי )‪ ,P (Z < t) = 0.8461 = Φ (t‬מצא את ‪.t = 1.02 :t‬‬ ‫אם ) ‪ ,X ∼ (µ, 52‬ונתון כי ‪.FX (23) = 0.9591‬‬ ‫‬ ‫‬ ‫‪.P (X < 23) = P X−µ‬‬ ‫‪< 23−µ‬‬ ‫‪= Φ 23−µ‬‬ ‫‪= 0.9591 ⇒ 23−µ‬‬ ‫‪= 1.74 ⇒ µ = 14.25‬‬ ‫‪5‬‬ ‫‪5‬‬ ‫‪5‬‬ ‫‪5‬‬ ‫‬ ‫‬ ‫‪2‬‬ ‫• אם ) ‪ X1 , . . . , Xn ∼ N (µ, σ 2‬ב"ת ש"ה‪ .‬אזי ) ‪ Sn ∼ N (nµ, nσ 2‬ו־ ‪.Xn ∼ N µ, σn‬‬ ‫• משפט הגבול המרכזי‪ :‬כאשר ‪ n‬מספיק גדול‪ ,‬זה נכון בקירוב לכל ‪) X1 , . . . , Xn‬משתנים מקריים ב"ת ש"ה‬ ‫כלשהם(‪.‬‬ ‫דוגמא‪ :‬ההסתברות שמערכת תקרוס ביום נתון היא ‪) 5%‬ב"ת בימים אחרים(‪ .‬אם בשנה ישנם ‪ 300‬ימי עבודה‪,‬‬ ‫מהי ההסתברות שהמערכת תקרוס בלא יותר מ־‪ 5‬ימים בשנה‪ ,X ∼ Bin (300, 0.05) .‬מהו )‪ ?P (X ≤ 5‬נסמן‬ ‫‪27‬‬ ‫‪P‬‬ ‫‪X = 300‬‬ ‫‪i=1 Yi ∼ N‬‬ ‫)‪ .E [Yi ] = 0.05, V ar (Yi ) = 0.05 ∗ 0.95 = 0.0475 .Yi ∼ Ber (0.05‬כעת )‪ (15, 14.25‬‬ ‫‪.P (X ≤ 5) = P Z ≤ √5−15‬‬ ‫בקירוב לפי משפט הגבול המרכזי‪= Φ (−2.65) = 1 − Φ (2.65) = 0.004 .‬‬ ‫‪14.75‬‬ ‫‪P5 −15 15i‬‬ ‫אם היינו משתמשים בקירוב פואסון‪ ,X ∼ P ois (15) :‬אזי ‪= 0.00279‬‬ ‫‪ .P (X ≤ 5) = i=0 e‬במקרה‬ ‫!‪i‬‬ ‫כזה פואסון יהיה עדיף‪ ,‬אבל נורמלי יותר נוח‪.‬‬ ‫• אי שוויון צ'בישב‪:‬‬ ‫‪σ2‬‬ ‫‪ε2‬‬ ‫≤ )‪ P (|X − µ| ≥ ε‬לכל ‪.ε > 0‬‬ ‫דוגמא‪ :‬בדקו רישום של שני מיליון לידות בניו יורק‪ ,‬וגילו ש־‪ 1, 026, 000‬מתוכן היו לידות של זכרים‪ .‬אם‬ ‫מניחים כי ההסתברות לזכר ונקבה שוות‪ ,‬עד כמה סבירה התוצאה הזו?‬ ‫‪0.5‬‬ ‫‪1‬‬ ‫‪ .P (X ≥ 1, 026, 000) = 12 P (|X − 1, 000, 000| ≥ 26, 000) ≤ 500,000‬כאשר ∼ ‪X‬‬ ‫‪= 26‬‬ ‫‪= 1352‬‬ ‫‪2‬‬ ‫‪26,0002‬‬ ‫)‪.Bin (2 · 106 , 0.5‬‬ ‫דוגמא‪ X1 , . . . , Xn :‬מדגם מקרי מאוכלוסיה‪ ,‬עם ‪) V ar (X) = σ 2 ,E [X] = µ‬כאשר ‪ µ‬נאמד בעזרת ‪.(Xn‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪2‬‬ ‫‪ .P Xn − µ ≤ 1 ≥ 0.99‬מהו ה־‪ n‬הרצוי? ‪ 1 − P Xn − µ ≥ 1 ≥ 0.99 .V ar Xn = σn‬כלומר‬ ‫‬ ‫‬ ‫‬ ‫) ‪V ar(Xn‬‬ ‫‪σ2‬‬ ‫‪σ2‬‬ ‫‪Xn − µ ≥ 1 ≤ 0.01‬‬ ‫= ‪ 0.01‬ולכן נדרש‬ ‫≥‬ ‫כי‬ ‫נדרש‬ ‫כך‬ ‫לשם‬ ‫‪.P‬‬ ‫‪n ≥ 0.01‬‬ ‫‪1‬‬ ‫‪n‬‬ ‫בס"ד‪ ,‬י"ט טבת תשע"א‪ :‬תרגול ‪11‬‬ ‫• אמידה‪ :‬יש לנו ‪ X ∼ fθ‬־ כלומר מתפלג לפי פרמטר כלשהו‪ ,‬אנו מעוניינים למצוא את הפרמטר ‪ .θ‬יש לנו‬ ‫‪ X1 , . . . , Xn‬מדגם מקרי‪ θˆ =g (X1 , . . ., Xn ) .‬הוא אומד או סטטיסטי ל־‪ .θ‬יש לנו מדד‬ ‫‬ ‫‪2‬‬ ‫ ‬ ‫‪ h i‬‬ ‫‪2‬‬ ‫ˆ‪ .M SE θˆ = E θ − θ‬בעצם ‪ M SE‬הוא פונקציה של ‪.θ‬‬ ‫‪= V ar θˆ + E θˆ − θ‬‬ ‫• דוגמא‪ ,E [X] = µ1 , V ar (X) = σ 2 :‬ומ"מ ‪ Y‬עם ‪.E [Y ] = µ2 , V ar (Y ) = 2σ 2‬‬ ‫‪ σ .θ = µ1 + 2µ2‬ידוע‪ .‬יש לנו ‪ .X, Y‬הציעו אומד חסר הטיה‪.‬‬ ‫ ‬ ‫ ‬ ‫‬ ‫‬ ‫‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪ M SE θˆ = V ar θˆ = V ar X + 4V ar Y = σn + 4·σ‬כאשר‬ ‫‪ .θˆ = X + 2Y‬מהו ה־ ‪= σ 2 n1 + m8‬‬ ‫‪m‬‬ ‫‪ n, m‬גודל המדגמים של ‪.X, Y‬‬ ‫אנו מחפשים את‬ ‫בודד‪ ,‬ודגימה של ‪ Y‬עולה ‪ 2‬ש"ח‪ .‬מהי החלוקה‬ ‫אם יש לנו תקציב של ‪ n‬שקלים ודגימה של ‪ X‬‬ ‫עולה שקל ‬ ‫‪16‬‬ ‫‪2 1‬‬ ‫האופטימלית? נסמן ־ ‪x‬־הדגימה ב־‪ .X‬נמזער את )‪:σ x + (n−x‬‬ ‫‬ ‫‬ ‫‪1‬‬ ‫‪16‬‬ ‫‪2‬‬ ‫‪σ − 2+‬‬ ‫‪= 0‬‬ ‫‪x‬‬ ‫‪(n − x)2‬‬ ‫‪16x2 − (n − x)2 = 0‬‬ ‫‪4x = n − x‬‬ ‫‪n‬‬ ‫= ‪x‬‬ ‫‪5‬‬ ‫ניקח חמישית מהתקציב לדגום מ־‪ ,X‬וכל השאר ל־ ‪.Y‬‬ ‫• שיטת המומנטים‪ .X ∼ fθ1 ,...,θm :‬אם )] ‪ θ1 = g1 (E [X] , . . . , E [X m‬וכו'‪ ,‬אזי‬ ‫‬ ‫‪X, X 2 , . . . , X m‬‬ ‫‬ ‫‪.θi = gi‬‬ ‫– דוגמא‪ :‬נתונה מערכת בה )‪ X1 ∼ exp (λ) , X2 ∼ exp (λ‬ב"ת אורכי החיים של המכשירים‪ .‬כל‬ ‫פעם שמתקלקל רכיב מחליפים את כל המערכת‪ .‬נתונים לנו הזמנים בין ‪ n‬קריסות המערכת‪ .‬נגדיר‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪ λ = 2E[Y‬אז‬ ‫‪ ,E [Y ] = 2λ‬ולכן‬ ‫) ‪ .Y = min (X1 , X2‬כלומר )‪ .Y ∼ exp (2λ‬אנו רוצים לאמוד את ‪:λ‬‬ ‫]‬ ‫‪1‬‬ ‫‪2‬‬ ‫נאמוד ‪ˆ = 1‬‬ ‫√ =‪λ‬‬ ‫‪ .λ‬נניח שמדדו רק את ‪ .Y 2‬נתבונן במשוואה ‪ E [Y ] = 4λ2 2 = 2λ1 2‬כלומר‬ ‫‪2‬‬ ‫‪2Y‬‬ ‫] ‪2E[Y‬‬ ‫ולכן נאמוד‬ ‫‪ˆ = √1‬‬ ‫‪.λ‬‬ ‫‪2Y 2‬‬ ‫‪28‬‬ ‫בס"ד‪ ,‬כ"ו טבת תשע"א‪ :‬תרגול ‪ 12‬־ אמידה נקודתית‬ ‫• אומד נראות מירבית‪ :‬נניח ‪ .X ∼ fθ‬יש לנו מדגם ‪ X1 , . . . , Xn‬מקרי‪.‬‬ ‫‪Q‬‬ ‫נסמן )‪ .L (θ; x1 , . . . , xn ) = ni=1 fX (xi ; θ‬זוהי פונקציה של ‪ ,θ‬ואנו רוצים למקסם אותה‪.‬‬ ‫‪Q‬‬ ‫– דוגמא‪ .X ∼ Geo (p) :‬אזי ‪.L (p; x1 , . . . , xn ) = ni=1 p (1 − p)xi −1‬‬ ‫‪P‬‬ ‫‪P‬‬ ‫‪L‬‬ ‫‪1‬‬ ‫‪= np − 1−p‬‬ ‫נקבל כי )‪ .log L = n log p + log (1 − p) ni=1 (xi − 1‬לכן )‪( xi − n‬‬ ‫‪0 = ∂ log‬‬ ‫‪∂p‬‬ ‫ˆ‪.‬‬ ‫כלומר ‪pM LE = X1‬‬ ‫‪‬‬ ‫‪1 − eθ−x x > θ‬‬ ‫– דוגמא‪:‬‬ ‫= )‪ .X ∼ FX (x; θ‬מצא אנ"מ ל־‪ θ‬ע"ס מדגם מקרי ‪.X1 , . . . , Xn‬‬ ‫‪0‬‬ ‫‪o.w.‬‬ ‫‪‬‬ ‫‪eθ−x x > θ‬‬ ‫‪,‬‬ ‫= )‪.fX (x; θ‬‬ ‫‪0‬‬ ‫‪o.w.‬‬ ‫) ‪, θ ≤ min (xi‬‬ ‫‪xi‬‬ ‫‪Pn‬‬ ‫‪i=1‬‬ ‫‪= enθ e−‬‬ ‫‪xi‬‬ ‫‪Pn‬‬ ‫‪i=1‬‬ ‫‪eθ−xi = enθ−‬‬ ‫‪n‬‬ ‫‪Y‬‬ ‫= ) ‪L (θ; x1 , . . . , xn‬‬ ‫‪i=1‬‬ ‫כדי למקסם‪= n ,‬‬ ‫) ‪.min (xi‬‬ ‫‪∂ ln L‬‬ ‫‪∂θ‬‬ ‫= ‪ .0‬הנגזרת לעולם לא מתאפסת‪ ,‬והפונקציה עולה‪ ,‬ותיעצר רק ב־= ‪θˆM LE‬‬ ‫• רווח סמך‪ :‬נניח ‪ X1 , . . . , Xn ,X ∼ fθ‬מדגם מקרי‪i .‬ברמת סמך של ‪.θ ∈ [g1 (x1 , . . . , xn , α) , g2 (x1 , . . . , xn , α)] ,1−αh‬‬ ‫למשל ) ‪ X ∼ N (µ, σ 2‬כאשר ‪ σ‬ידוע‪ .‬אזי ‪.µ ∈ X ± √σn z1− α2‬‬ ‫– דוגמא‪.X ∼ N (µ, 22 ) ,‬‬ ‫‪ .1‬מהי תוחלת אורך רווח הסמך ברמת סמך ‪ .1 − α‬נסמן ‪ L‬אורך רווח הסמך‪:‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‪σ‬‬ ‫‪σ‬‬ ‫‪σ‬‬ ‫‪E [L] = E X + √ z1− α2 − E X − √ z1− α2 = 2 √ z1− α2‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫מונוטוני יורד עם ‪ .n‬מונוטוני עולה עם ‪.1 − α‬‬ ‫‪ .2‬עבור ‪ n = 9‬ו־‪ 1 − α = 0.95‬מהו ‪.L = 2.61 ?L‬‬ ‫‪ .3‬נדרשים ש־‪ ,L = 1‬מהי רמת הסמך? נפתןר את המשוואה ‪ ,1 = 34 z1− α2 ⇒ α = 0.45‬כלומר רמת‬ ‫סמך של ‪.0.55‬‬ ‫‪ .4‬אם נדרשים ש־‪ 1 − α‬יישאר ‪ 0.95‬ו־‪ ,L = 1‬מהו ה־‪ n‬המינימלי? ‪⇒ n ≥ 87‬‬ ‫‪√4 1.96‬‬ ‫‪n‬‬ ‫= ‪.1‬‬ ‫• אמידת רווח סמך‪ .θ = e−λ ,X ∼ exp (λ) :‬ע"ס תצפית בודדת ‪ X‬רוצים לבנות ר"ס ברמת סמך של ‪.1 − α‬‬ ‫‪ P (X ≤ k) = FX (k) = 1 − e−λk = 1 − θk = 1 − α .1‬כלומר ‪ .θk = α‬או‬ ‫‬ ‫‬ ‫‬ ‫√‬ ‫‪log α‬‬ ‫)‪.1 − α = P x ≤ log θ = P log θ ≥ logx α = P (θ ≥ x α‬‬ ‫‪ 1 − α ≥ P (X ≥ k) = 1 − FX (k) = e−λk = θk = 1 − α .2‬כלומר‬ ‫‬ ‫‬ ‫‬ ‫√‬ ‫)‪.1 − α = P X > log(1−α‬‬ ‫לכן ‪= P θ < x 1 − α‬‬ ‫‪log θ‬‬ ‫‪p α p‬‬ ‫‬ ‫‪α‬‬ ‫‪x‬‬ ‫‪x‬‬ ‫‪,‬‬ ‫‪1‬‬ ‫‪−‬‬ ‫מסקנה‪ :‬ברמת סמך של ‪,1 − α‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫∈ ‪.θ‬‬ ‫‪29‬‬ ‫)‪log(1−α‬‬ ‫‪log θ‬‬ ‫= ‪.k‬‬ ‫‪log α‬‬ ‫‪log θ‬‬ ‫= ‪ .k‬לכן‬ ‫בס"ד‪ ,‬ד' שבט תשע"א‪ :‬תרגול ‪13‬‬ ‫• נושאים שלא מופיעים בדוגמאות‪ :‬מ"מ משותפים‪ ,‬צפיפות משותפת‪ ,‬והתניה‪ .‬יש תרגיל של בדיקת השערות עם‬ ‫פתרון‪.‬‬ ‫• בדיקת השערות‪ .H0 : X ∼ f0 , H1 : X ∼ f1 :‬יש טעות מסוג ראשון‪ ,‬דחייה שגויה‪ ,‬מסומנת ב־‪) α‬רמת‬ ‫המובהקות(‪ ,‬וטעות מסוג שני של קבלה שגויה‪ ,‬מסומנת ב־‪ 1 − β)β‬העוצמה של המבחן(‪.‬‬ ‫לדוגמא‪ ,X ∼ N (µ, σ 2 ) :‬וההשערות הן ‪ .H0 : µ = µ0 , H1 = µ 6= µ0‬או ‪ H1 : µ < µ0‬או ‪.H1 : µ > µ0‬‬ ‫‬ ‫‬ ‫איזורי הדחייה יהיו ‪ ,X − µ0 > √σn z1− α2‬או ‪ X < µ0 − √σn z1−α‬או ‪.X > µ0 + √σn z1−α‬‬ ‫דוגמא‪ :‬התוחלת ההיסטורית של הטמפרטורה היומית באוגוסט היא ◦‪ 30‬עם סטיית תקן של ◦‪) 2‬נניח נורמליות(‪.‬‬ ‫הממוצע של המדידה הנוכחית היא ‪ .X = 30.7‬האם התוחלת עלתה בר"מ של ‪ ?1%, 5%‬יש לנו ) ‪.X ∼ N (µ, 22‬‬ ‫ההשערות הן ‪ .H0 : µ = 30, H1 : µ > 30‬המבחן שלנו יהיה ‪ ,X > 30 + z0.95 = 30.59‬וברמת מובהקות של‬ ‫‪ 5%‬נדחה את ‪ .H0‬וברור שגם ברמה של ‪ .10%‬עבור ‪ 1%‬המבחן יהיה ‪ ,X > 30 + z0.99 = 32.326‬ולכן נקבל‬ ‫את ‪.H0‬‬ ‫• ערך ‪ :P‬ההסתברות תחת הנחת ‪ H0‬לקבל מדגם קיצוני יותר‪ .‬למשל במקרים שתיארנו לעיל‪:‬‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫‬ ‫| ‪ .PH0 X ≥ x , PH0 X ≤ x , PH0 X − µ0 > |x − µ0‬זו רמת המובהקות המינימלית בה נדחה את‬ ‫‬ ‫√‬ ‫‪ .H0‬נחזור לדוגמא‪= 1 − Φ (1.95) = 0.026 :‬‬ ‫‪ .pv = PH0 X > 30.7 = P Z > 30.7−30‬מסקנה‪ :‬רמת‬ ‫‪2/ 31‬‬ ‫נדחה את ‪ H0‬היא‪ .2.6%‬אם הדיון הוא האם היה שינוי )ולא עליה( הערך היה‬ ‫המובהקות המינימלית בה‬ ‫ √‬ ‫‬ ‫‬ ‫‬ ‫‪0.7 31‬‬ ‫‬ ‫‬ ‫‪.pv = PH0 X − 30 ≥ 0.7 = P |Z| ≥ 2‬‬ ‫‪= 2 (1 − Φ (1.95)) = 0.051‬‬ ‫• מבחן יחס הנראות‪ :‬נועד לבדוק השערות פשוטות מהצורה ‪ .H0 : θ = θ0 , H1 : θ = θ1‬ניקח )‪X ∼ P ois (λ‬‬ ‫) ‪L (X ,...,X ;λ‬‬ ‫עם ההשערות ‪ .H0 : λ = λ0 , H1 : λ = λ1‬נגדיר את יחס הנראות ) ‪ .λ (X1 , . . . , Xn ) = LHH1 (X11 ,...,Xnn ;λ10‬המבחן‬ ‫‪0‬‬ ‫‪ P xi‬‬ ‫‪Q −λ λi1‬‬ ‫‪1‬‬ ‫‪e‬‬ ‫‪i‬‬ ‫‪−n(λ1 −λ0 ) λ1‬‬ ‫!‪i‬‬ ‫הוא מהצורה ‪ .λ (X) > C‬במקרה שלנו נקבל ‪> C‬‬ ‫‪ .λ (X) = Q‬מבחן יחס‬ ‫‪i = e‬‬ ‫‪λ0‬‬ ‫‪−λ1 λ1‬‬ ‫‪ie‬‬ ‫!‪i‬‬ ‫‪P‬‬ ‫הנראות יהיה ‪. ni=1 Xi ≥ C 0‬‬ ‫‪30‬‬