סיכומים . (עודכן 1.12.2014)
תורת ההסתברות ) :2או הסתברות ותהליכים סטוכסטים( סוכם על ידי תום חן ־ [email protected] 1בדצמבר 2014 שימו לב ־ יתכנו שגיאות בטקסט עידכונים יתבצעו במהלך הסמסטר נא לדווח שגיאות ל [email protected]או לחלופין שלשמור כהערות בקובץ ולשלוח לי חזרה תקציר סיכום ההרצאות בקורס בתורת ההסתברות 2־ סמסטר ב' 2014מהרצאותיו של אורי גוראל־גורביץ. 1 תוכן עניינים תוכן עניינים תוכן עניינים 1 כמה דוגמאות ראשונות לשאלות הסתברותיות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 3 סילבוס הקורס. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 4 חזרה על תורת המידה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : הסתברות בסיסית )יחסית(. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 5 7 3.1 כמה טענות בסיסיות בהסתברות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 7 3.2 משתנים מקריים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 10 1.1 2 3 4 3.3 סדרות של משתנים מקריים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 11 3.4 התפלגויות של משתנים מקריים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 15 3.5 תוחלת של משתנה מקרי וכמה תכונות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 16 3.6 התכנסות בהסתברות של משתנים מקריים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 17 ריכוז מידה של סדרות משתנים מקריים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 20 4.1 הקדמה ודוגמאות ראשונות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 20 4.2 החוק החלש והחזק של המספרים הגדולים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 23 כמה דוגמאות משעשעות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 26 חזרה לריכוז מידה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 27 מרטינגלים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 32 5.1 מרטינגלים בדידים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 32 5.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 5.3 פילטרציות ומרטינגלים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 37 5.4 זמני עצירה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 39 5.5 על\תת־מרטינגלים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 41 5.6 מרטינגלים וריכוז מידה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 41 5.7 דוגמאות משעשעות עם מרטינגלים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 42 5.8 התכנסות של מרטינגלים. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 45 שרשראות מרקוב. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 47 6.1 מחזוריות והתכנסות לסטציונריות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 51 6.2 נשנות של שרשראות מרקוב. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 53 משפט הגבול המרכזי. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 55 7.1 התכנסות חלשה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 55 7.2 משפט הגבול המרכזי. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : קצת הקדמה להוכחה. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 7.2.1 57 57 7.2.2 פונקציות אופייניות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 58 7.2.3 התכנסות של פונקציות אופייניות. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 60 7.2.4 הוכחת משפט הגבול המרכזי. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 63 תנועה בראונית. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : 64 4.2.1 4.3 5 6 7 8 תוחלת מותנית: 2 1 כמה דוגמאות ראשונות לשאלות הסתברותיות: ספרים: • Durrett: Probability Theory & Examples. • Varadhan: Porbability Theory. • Williams - Probability with Martingales. 1 כמה דוגמאות ראשונות לשאלות הסתברותיות: להלן כמה דוגמאות לשאלות מעניינות בהסתברות: דוגמה 1.1הכד של פוליה ) ::(Polya’s Urnבכד בשלב ראשון יש שני כדורים ,שחור ולבן .בכל שלב מוציאים כדור באקראי )באופן אחיד( ומחזירים אותו ועוד כדור באותו צבע .נסמן ב־ anאת מספר הכדורים הלבנים בצעד ה־ .nנשאלת השאלה מה an a.s n+2כאשר ).U ∼ Uniform (0, 1 ההתפלגות של סדרת המשתנים המקריים .a1 , a2 , ...מתברר ש־ −→ U תרגיל :עבור N ∈ Nקבוע מתקיים }.aN ∼ U {1, ..., N + 1 דוגמה 1.2הילוך השיכור ) :(Random Walkנגדיר X0 = 0ובאינדוקציה: ( Xn + 1 P = 12 = Xn+1 Xn − 1 P = 12 שאלות אפשריות שעולות: • מה ההסתברות שקיים N > 0כך ש־ XN = 0־ התשובה היא 1ומכך בהסתברות 1קיימים אינסוף ערכי Nכך ש־ .XN = 0 • מהי ההתפלגות של זמן החזרה הראשונה ובפרט מהי התוחלת שלה ־ מתברר שהתוחלת היא ∞. ניתן להכליל את הבעיה הזו למהלך על שריג דו־ממדי כאשר נגדיר ) X0 = (0, 0ובאינדוקציה: )Xn + (0, 1 P = 14 X + (0, −1) P = 1 n 4 = Xn 1 X + (1, )0 P = n 4 Xn + (−1, 0) P = 14 וכן הלאה ניתן להכליל את התהליך למימדים יותר גבוהים .בפרט מתברר שעבור n = 1, 2ההילוך הוא נשנה ) (Recurrentכלומר בהסתברות 1קיים N > 0כך ש־ .XN = X0מאידך עבור n > 3הנ"ל כבר לא מתרחש בהסתברות .1אפשר להראות שמבחינה 1 2nעבור .n > 3 אסימפטוטית הסיכוי לחזור לנקודת ההתחלה מתנהג כמו דוגמה 1.3פרקולציה על שריג: נתבונן בשריג הדו־ממדי Z2ובהסתברות ) p ∈ (0, 1כל אחת מהצלעות בשריג נמחקת או נשארת בהסתברות ) .(1 − pנשאלת השאלה מה קורה לשריג .למשל ניתן לשאול כתלות ב־ pהאם יהיה רכיב קשירות אינסופי בגרף שנשאר .ניתן להראות שעבור p < 21 בהסתברות 1לא נשאר רכיב קשירות אינסופי ועבור p > 12בהסתברות 1נשאר רכיב קשירות אינסופי והוא יחיד .בנוסף עבור p = 12מתברר שאין רכיב קשירות אינסופי. דוגמה 1.4השרדות של שם משפחה: נניח שמספר הצאצאים הזכרים של אדם מפולג בהתפלגות Fכלשהי )למשל } (U {1, 2, ..., nוהנ"ל נכון גם עבור הצאצאים וצאצאי הצאצאים וכן הלאה באופן בלתי תלוי .נשאלת השאלה מה הסיכוי שקיים דור שבו לא יוולדו צאצאים זכרים בכלל או לחילופין הסיכוי ששם המשפחה ישרוד לעד .אפשר להראות שאם התוחלת של ההתפלגות גדולה מ־ 1אז בהסתברות חיובית אז שם המשפחה ישרוד לעד ואם התוחלת קטנה מ־ 1אז השם לא שורד .כמו כן אם התוחלת היא 1אז יש שרידות רק אם בכל שלב יש צאצא אחד בדיוק. 3 1.1 1 סילבוס הקורס: כמה דוגמאות ראשונות לשאלות הסתברותיות: הערה 1.5ניתן לייצג את הבעיה הזו בתור עץ אינסופי שמבצעים עליו פרקולציה ונשאלת השאלה האם נשאר מסלול אינסופי. דוגמה 1.6ערבוב של חפיסת קלפים :נניח שיש לנו חבילת כלפים מסודרת )בת 52קלפים( ואנחנו חותכים את החפיסה במקום מקרי לפי התפלגות מסוימת ואז מערבבים באופן מסוים שגם נתון על ידי חוקיות מסוימת .נשאלת כמה ערבובים צריך לבצע כדי ששיטת הערבוב תהיה שקולה לבחירה מקרית ואחידה מ־ ) S52פרמוטציות של 52איברים( .בפועל באף שיטה סבירה לא נקבל אף פעם באמת פילוג אחיד מ־ S52אבל אפשר לשאול עד כמה שיטת הערבוב מתקרבת לכך אחרי מספר מסוים של ערבובים וכמה צעדים נדרשים כדי להתקרב מספיק )כאשר מגדירים מרחק בין התפלגויות באופן מסוים(. דוגמה 1.7הקלדה של רצף אותיות מסוים :קופים מקלידים אותיות ב־ ABCבאופן אחיד ואקראי וכבר ידוע לנו שכל רצף של אותיות יוקלד בשלב מסוים בהסתברות .1נשאל לדוגמה כמה זמן צריך לחכות )בתוחלת( עד שנראה את הרצף .ABRAKEDABRA לכל רצף של 11אותיות מתוך 26אותיות יש הסתברות של 26111לצאת אבל מאחר ואנחנו מקלידים ברצף )בניגוד לבחירת רצף כל פעם מחדש ללא המשכיות( וגם מאחר ויש חפיפה בין הסוף וההתחלה של הרצף יקח דווקא יותר זמן עד שנראה את הרצף הזה. באופן כללי לרצפים שיש בהם פחות חפיפה יקח פחות זמן להופיע מאשר לרצפים שיש בהם יותר חפיפה. דוגמה 1.8חידה :נתונה חפיסת קלפים מעורבבת ושולפים קלפים זה אחר זה מראש הערימה ומסתכלים בהם ובכל שלב ניתן להחליט שעוצרים ולא שולפים יותר .כאשר עוצרים מקבלים ±1לפי צבע הקלף הבא .נשאלת השאלה מה האסטרטגיה האופטימלית כדי למקסם את הרווח. 1.1 סילבוס הקורס: .1תהליכים סטוכסטיים )סדרות של משתנים מקריים( והתכנסויות. .2פונקציות אופיניות ומשפט הגבול המרכזי. .3מרטינגלים )שם קוד לסדרה של הימורים הוגנים(. .4שרשראות מרקוב. .5סטיות גדולות. .6ריכוז מידה ).(Concentration of Measure .7תנועה בראונית. 4 2 2 חזרה על תורת המידה: חזרה על תורת המידה: הגדרה 2.1אלגברה על קבוצה: בהנתן קבוצה Ωמשפחת קבוצות ) F ⊆ P (Ωתקרא אלגברה אם היא מקיימת: .∅ ∈ F .1 .2אם A ∈ Fאז .Ac ∈ F .3אם A, B ∈ Fאז .(A ∪ B) ∈ F לפעמים דורשים סגירות לחיתוך במקום לאיחוד והנ"ל שקול שכן יש סגירות למשלים .כמו כן באינדוקציה מקבלים שאלגברה סגורה לאיחודים וחיתוכים סופיים. דוגמה 2.2דוגמאות: .1אוסף האיחודים של קטעים חצי פתוחים ] (a, b] ⊆ [0, 1הוא אלגברה. N .2בהנתן } Ω = {0, 1נגדיר קבוצת צילינדר בסיסית ע"י: o N ∈ {0, 1} | ai = bi ∀ 1 ≤ i ≤ k n ∞ Cb1 ,...,bk = (an )n=1 כלומר קבוצת כל הסדרות ש־ kהמקומות הראשונים שלהן הם b1 , ..., bkעבור } b1 , ..., bk ∈ {0, 1נתונים .אוסף כל האיחודים N הסופיים של כל קבוצות הצילנידר הוא אלגברה על }.{0, 1 .3אוסף כל תת־הקבוצות הסופיות\קו־סופיות של Ωהוא אלגברה. הגדרה 2.3סיגמה אלגברה: בהנתן קבוצה Ωמשפחת קבוצות ) F ⊆ P (Ωתקרא סיגמה־אלגברה אם היא אלגברה והיא סגורה גם לאיחודים בני־מנייה. הגדרה 2.4סיגמה אלגברה נוצרת: בהנתן S ⊆ Ωה־ σ־אלגברה הנוצרת על ידי Sשתסומן ) σ (Sהיא ה־ σ־אלגברה המינימלית שמכילה את Sובאופן שקול חיתוך כל ה־ σ־אלגבראות המכילות את .S הגדרה 2.5סיגמה אלגברת בורל: בהנתן מרחב טופולוגי ) (X, Tנגדיר את σ־אלגברת בורל על Xשתסומן ) B (Xבתור ) .B (X) := σ (Tכלומר ה־ σ־אלגברה שנוצרת על ידי כל הקבוצות הפתוחות )באופן שקול אפשר להגדיר גם באמצעות סגורות(. הגדרה 2.6מרחב מדיד: מרחב מדיד הוא זוג ) (Ω, Fכאשר Ωהיא קבוצה ו־ Fהיא σ־אלגברה על .Ω דוגמה 2.7נגדיר את ) S ⊆ P (Nלהיות אוסף הקבוצות A ⊆ Nשיש להן צפיפות אסימפטוטית ,כלומר קיים הגבול: |}|A ∩ {1, ...., n ∞→n n lim בפרט Sאיננה σ־אלגברה שכן ניתן לבחור קבוצה בת־מנייה שאין לה צפיפות אסימפטוטית והיא תהיה איחוד בן־מנייה של יחידונים שכמובן יש להם צפיפות אסימפטוטית ולכן Sלא סגורה לאיחודים בני־מנייה בבירור .אפשר להראות גם ש־ Sאיננה אלגברה ולשם כך מספיק למצוא שתי קבוצות בעלות צפיפות אסימפטוטית שלאיחוד או לחיתוך שלהם אין צפיפות אסימפטוטית. פתרון :נקח את Aלהיות כל הזוגיים ואת Bלהיות הקבוצה שמכילה את כל הזוגיים עד מיליון ,כל האי־זוגיים בין מיליון ומיליארד, כל הזוגיים בין מיליארד למיליארד ומאה מיליון וכן הלאה .לשתי הקבוצות הללו תהיה צפיפות אסימפטוטית אולם לחיתוך יהיו פלקטואציות בצפיפות שתשתנה בין 0לבערך 21ולכן לא תהיה צפיפות אסימפטוטית. 5 2 חזרה על תורת המידה: הגדרה 2.8מידה על מרחב מדיד: בהנתן מרחב מדיד ) (Ω, Fפונקציה ]∞ µ : F → [0,תקרא מידה אם היא מקיימת את התכונות הבאות: .µ (∅) = 0 .1 µ (A) ≥ 0 .2לכל .A ∈ F ∞S ∞P .3סיגמה אדיטיביות :בהנתן קבוצות זרות A1 , A2 , .. ∈ Fמתקיים ) .µ ( · n=1 An ) = n=1 µ (An בפרט אם ∞ < ) µ (Ωנאמר כי µהיא מידה סופית ואם µ (Ω) = 1אז זוהי מידת הסתברות. הגדרה 2.9מרחב מידה\הסתברות: מרחב מידה הוא שלשה ) (Ω, F, µכאשר ) (Ω, Fהוא מרחב מדיד ו־ µהיא מידה על ).(Ω, F הערה 2.10בפרט אם µהיא מידת הסתברות נאמר כי המרחב הוא מרחב הסתברות. תזכורת 2.11כמה תכונות של מידה: יהא ) (Ω, F, µמרחב מידה ,מתקיימים הדברים הבאים: .1מונוטוניות :עבור A, B ∈ Fכך ש־ A ⊆ Bמתקיים ).µ (A) ≤ µ (B ∞S ∞P .2תת־אדיטיביות :בהנתן A1 , A2 , ... ∈ Fמתקיים ) .µ ( n=1 An ) ≤ n=1 µ (An .3רציפות מלמטה :בהנתן סדרה עולה An ↑∈ Fמתקיים: ! ∞ [ An lim µ (An ) = µ ∞→n n=1 .4רציפות מלמעלה :בהנתן סדרה יורדת An ↓∈ Fכך שקיים Nשעבורו ∞ < ) µ (ANמתקיים: ! ∞ \ lim µ (An ) = µ An ∞→n n=1 הערה 2.12פונקציית קבוצות ]∞ µ : F → [0,שהינה אדיטיבית סופית ומקיימת µ (∅) = 0היא מידה אמ"מ היא מקיימת את תכונה 3או .4 הגדרה 2.13מידה על אלגברה ):(Pre-Measure תקרא מידה על האלגברה אם µ (∅) = 0וגם לכל A1 , A2 , ... ∈ Aזרות כך µ : A → [0, בהנתן אלגברה SAפונקציית קבוצות ∞S ]∞P ∞ ∞ ש־ · n=1 An ∈ Aמתקיים ) .µ ( · n=1 An ) = n=1 µ (An משפט 2.14משפט ההרחבה של :Caratheodory תהא F0היא אלגברה ותהא µ0מידה עליה .אזי קיימת מידה µעל ) F := σ (F0כך ש־ .µ|F0 = µ0הנ"ל מכונה הרחבה של המידה µ0מהאלגברה F0ל־ σ־אלגברה הנוצרת ממנה .בפרט אם µ0היא מידה סופית )למעשה גם σ־סופית( אז ההרחבה הנ"ל יחידה. הערה 2.15באמצעות המשפט הנ"ל ניתן להרחיב מידות שמוגדרות על אלגברה לסיגמה אלגברה הנוצרת .לדוגמה: .1הרחבת מידת האורך µ0 ([a, b]) = b − aמהאלגברה שנוצרת על ידי תת־קטעים ל־ σ־אלגברה שהם יוצרים שהיא ).B (R .2הרחבת מידת הטלת מטבעות מהאלגברה הנוצרת על ידי צילינדרים ל־ σ־אלגברה הנוצרת. 6 3 הסתברות בסיסית )יחסית(: משפט 2.16מסקנה ממשפט ) π − λמשפט דינקין(: יהא ) (Ω, Fמרחב מדיד כך ש־ ) F = σ (F0ויהיו µ1 , µ2מידות סופיות על ) .(Ω, Fאזי אם F0סגורה לחיתוכים וגם )µ1 (E) = µ2 (E לכל E ∈ F0אז ) µ1 (E) = µ2 (Eלכל .E ∈ F משפט 2.17משפט ־ תנאי למדידות )תרגיל(: יהא ) (Ω, F, µמרחב מידה כך ש־ ) F = σ (F0כאשר F0היא אלגברה .אזי לכל A ∈ Fולכל ε > 0קיימת A0 ∈ F0כך ש: µ (A4A0 ) = µ ((A\A0 ) ∪ (A0 \A)) < ε המשמעות היא שבמובן מסוים ניתן לקרב קבוצות ב־ σ־אלגברה ע"י קבוצות באלגברה. הסתברות בסיסית )יחסית(: 3 3.1 כמה טענות בסיסיות בהסתברות: הגדרה 3.1ה ־ Limsup/Liminfשל סדרת מאורעות: יהא ) (Ω, Fמרחב מדיד ,בהנתן סדרה E1 , E2 , ... ∈ Fנגדיר: [ ∞ \ En En = lim sup En ∞→n m=1 n>m \ ∞ [ = lim inf En ∞→n m=1 n>m למספר סופי של ערכי nוה־ Limsupהוא אוסף ה־ בפרט ה־ Liminfשל הסדרה הוא אוסף ה־ ω ∈ Ωכך ש־ ω ∈Enפרט ω ∈ Ωכך ש־ ω ∈ Enעבור אינסוף ערכי .nבפרט אם ∞ = P lim sup Enאז אינסוף מהמאורעות Enקורים כמעט תמיד ∞→n ואם P lim inf En = 1אז כל המאורעות Enפרט למספר סופי קורים כמעט־תמיד. ∞→n משפט 3.2הלמה של :Fatou יהא ) (Ω, F, Pמרחב הסתברות ויהיו ,E1 , E2 , ... ∈ Fאזי: ) P lim inf En ≤ lim inf P (En ∞→n ∞→n ) P lim sup En ≥ lim sup P (En ∞→n ∞→n הוכחה: .1נגדיר En n>m T = Am :ונקבל כי ,Am ↑ lim inf Enלכן מרציפות של מידה נקבל כי: ∞→n ∞→m lim inf P (En ) ≥ P (Am ) −→ P lim inf En ∞→n ∞→n כאשר א"ש המסומן נובע מכך ש־ Am ⊆ Enלכל n > mולכן ) P (Am ) ≤ P (Enלכל .n > m c .2נשים לב כי lim sup En = lim inf Encומכך על סמך הטענה הראשונה נקבל כי: ∞→n ∞→n c 1 − P lim sup En = P lim inf En ) ≤ lim inf (1 − P (Enc )) = 1 − lim inf P (Enc ) = 1 − lim sup P (En ∞→n ∞→n ∞→n 7 ∞→n ∞→n 3.1 כמה טענות בסיסיות בהסתברות: הסתברות בסיסית )יחסית(: 3 מעבירים אגפים ומקבלים את הנדרש. למה 3.3הלמה הראשונה של בורל קנטלי: ∞P יהא ) (Ω, F, Pמרחב הסתברות ותהא E1 , E2 , ... ∈ Fכך ש־ ∞ < ) n=1 P (Enאזי .P lim sup En = 0 ∞→n הוכחה :נשים לב כי לכל m ∈ Nמתקייים En n>m S ⊆ ,lim sup Enמכך נקבל כי: ∞→n ! ∞→m P (En ) −→ 0 X n>m ≤ [ En P lim sup En ≤ P ∞→n n>m ∞P הערה 3.4נשים לב כי הטענה הזו איננה אמ"מ ,כלומר אם ∞ = ) n=1 P (Enלא בהכרח נובע ש־ .P lim sup En > 0למשל ∞→n ∞P ∞P עבור En = 0, n1ו־ ] Ω = (0, 1עם מידת הסתברות אחידה נקבל כי ∅ = lim sup Enאולם ∞ = . n=1 P (En ) = n=1 n1 ∞→n הגדרה 3.5אי־תלות של סדרת σ־אלגבראות ושל סדרת מאורעות: ∞ יהא ) (Ω, F, Pמרחב הסתברות ותהא תהא {Fi }i=1סדרה של תת־σ־אלגבראות :Fi ⊆ F Tn Qn ∞ .1נאמר ש־ {Fi }i=1בלתי תלויה אם לכל n ∈ Nולכל בחירה של (i = 1, ..., n) Ai ∈ Fiמתקיים ) .P ( i=1 Ai ) = i=1 P (Ai .2נאמר שסדרת מאורעות A1 , A2 , ... ∈ Fהיא בלתי תלויה אם הסדרה } σ ({Ai }) = {∅, Ω, Ai , Aciבלתי־תלויה. הערה 3.6בשני המקרים הסדרות יכולות להיות סופיות בשינוי מתאים של ההגדרה. טענה 3.7הגדרה שקולה לאי־תלות של אוסף וסדרת מאורעות )תוספת(: יהא ) (Ω, F, Pמרחב הסתברות: .1מאורעות A1 , ..., AN ∈ Fהם ב"ת אם לכל 1 ≤ k1 < ... < km ≤ Nמתקיים P Akj Qm j=1 = Akj T m j=1 .P .2מאורעות A1 , A2 , ... ∈ Fהם ב"ת אם לכל N ∈ Nהמאורעות A1 , ..., ANבלתי תלויים. הגדרה 3.8אי־תלות בזוגות של סדרת σ־אלגבראות וסדרת מאורעות: ∞ יהא ) (Ω, F, Pמרחב הסתברות נאמר שסדרה {Fi }i=1של תת־σ־אלגבראות Fi ⊆ Fבלתי־תלויה בזוגות אם לכל i 6= jו־ A ∈ Fiו־ B ∈ Fjמתקיים ) .P (A ∩ B) = P (A) · P (Bבאופן מתאים נאמר שסדרת מאורעות E1 , E2 , ... ∈ Fבלתי תלויים בזוגות אם אם הסדרה } σ ({Ei }) = {∅, Ω, Ei , Eicבלתי־תלויה בזוגות. הערה 3.9אי־תלות כמובן תמיד גוררת אי־תלות בזוגות אבל ההפך לא נכון. למה 3.10תנאי לאי־תלות של שתי תת־σ־אלגבראות במרחב הסתברות: יהא ) (Ω, F, Pמרחב הסתברות ויהיו S1 , S2 ⊆ Fתת־קבוצות סגורות לחיתוכים כך שלכל A ∈ S1ו־ B ∈ S1מתקיים )P (A ∩ B) = P (A) P (B אזי ) σ (S1ו־ ) σ (S2הן ב"ת. 8 3 3.1 הסתברות בסיסית )יחסית(: כמה טענות בסיסיות בהסתברות: הערה 3.11באופן כללי יותר אם S1 , S2 , ..., Sn ⊆ Fסגורות לחיתוכים ומתקיים: ! n n \ Y P = Ai ) P (Ai i=1 i=1 לכל Ai ∈ Siאז ) σ (S1 ) , ..., σ (Snב"ת. הוכחה :נקבע A ∈ S1ונגדיר ) P1 (B) = P (B) P (Aו־ ) P2 (B) = P (B ∩ Aעבור כל ) .B ∈ σ (S2נשים לב כי P1 , P2הן מידות סופיות על )) (Ω, σ (S2ומתקיים ) P2 (B) = P1 (Bלכל .B ∈ S2לכן ממשפט דינקין מאחר ש־ S2סגורה לחיתוכים נובע שהשוויון מתקיים לכל ) .B ∈ σ (S2כעת נסמן ) T1 = σ (S1ו־ ) ,T2 = σ (S2גם אלו הן קבוצות שסגורות לחיתוכים ,נקבע B ∈ T2ונגדיר ) P1 (A) = P (B) P (Aו־ ) P2 (A) = P (B ∩ Aעבור כל ) .A ∈ σ (S1אלו הן מידות סופיות על )) (Ω, σ (S1ועל סמך מה שהוכחנו מתקיים ) P2 (A) = P1 (Aלכל .A ∈ S1לכן שוב ממשפט דינקין מתקיים השוויון הנ"ל לכל ) .A ∈ σ (S1סה"כ ניתן לראות שלכל ) B ∈ σ (S2ולכל ) A ∈ σ (S1מתקיים ) P (A) P (B) = P (A ∩ Bומכך ישנה אי־תלות כנדרש. למה 3.12הלמה השנייה של בורל־קנטלי: ∞P יהא ) (Ω, F, Pמרחב הסתברות ותהא E1 , E2 , ... ∈ Fסדרת מאורעות ב"ת כך ש־ ∞ = ) n=1 P (Enאזי .P lim sup En = 1 ∞→n הוכחה :מספיק שנראה כי .P lim inf Enc = 0נשים לב כי: ∞→n =0 ) P(En P n>m ! − e−P(En ) = e Y ≤ )) (1 − P (En n>m Y = n>m ∞→n Enc \ P n>m כאשר השתמשנו בכך ש־ ) 1 − P (En ) ≤ e−P(Enוגם ∞ →P (En ) − ! \ ∞ [ P lim inf Enc = P Enc = 0 P n>m .בפרט מכך נסיק כי: ∞→n n=1 n>m הגדרה σ 3.13־אלגברת זנב של סדרת σ־אלגבראות: ∞ יהא ) (Ω, Fמרחב מדיד ותהא {Fn }n=1סדרת σ־אלגבראות חלקיות של ,Fנגדיר: ! [ Tn = σ ({Fn , Fn+1 , ...}) = σ Fn n>m כמו כן נגדיר Tn ∞T n=1 ∞ = ,Tהנ"ל מכונה σ־אלגברת הזנב של הסדרה ) {Fn }n=1נשים לב כי {∅, Ω} ⊆ Tולכן הנ"ל לא ריקה(. הערה 3.14כל מאורע של Tמכונה גם "מאורע זנב". ∞ תרגיל :אם נקח סדרת מאורעות {En }n=1כך ש־ En ∈ Fnלכל nאז lim inf En ∈ Tוגם .lim sup En ∈ T ∞→n ∞→n משפט 3.15משפט 1־ 0של קולמוגורוב: יהא ) (Ω, F, Pמרחב הסתברות ותהא )⊆ P (F ∞ {Fn }n=1 סדרה ב"ת של σ־אלגבראות אזי לכל A ∈ Tמתקיים }.P (A) ∈ {0, 1 דוגמה 3.16דוגמה קנונית שבד"כ משתמשים בה כדי להתבונן בהתנהגות של סדרה ב"ת של σ־אלגבראות ומאורעות זנב בה היא N הדוגמה שבה } Ω = {0, 1ו־ )}.Fn = σ ({ω : ωn = 0 9 3 3.2 הסתברות בסיסית )יחסית(: משתנים מקריים: הוכחה) :חסרים פרטים( ראשית נראה ש־ T , F1 , F2 , ...ב"ת .בהנתן A ∈ Tלכל n ∈ Nמתקיים A ∈ Tnולכן בהנתן מאורעות Ai ∈ Fiנקבל כי: ! n−1 n−1 \ Y ∩P A )Ai = P (A ) P (Ai i=1 i=1 כאשר השוויון הנ"ל נובע מכך ש־ Tn , F1 , ..., Fn−1הן ב"ת על סמך הגרסה הכללית יותר של למה .3.10כעת שהראינו ש־ נסיק ש־ Tב"ת ב־ )} σ ({F1 , F2 , ...כאשר הנ"ל נובע שוב מלמה 3.10כאשר משתמשים באי־תלות ,בכך ש־ T , F1 , F2 , ... TSב"ת∞S n ו־ ) ) n=1 σ ( i=1 Fiזוהי איננה σ־אלגברה אך כן אלגברה( סגורות לחיתוכים ובכך שמתקיים: !! ∞ n [ [ σ ({F1 , F2 , ...}) = σ σ Fi i=1 n=1 לסיום מאחר ש־ )} T ⊆ σ ({F1 , F2 , ...ומאי־התלות הנ"ל נקבל שלכל A ∈ Tמתקיים ) P (A) = P (A ∩ A) = P (A) · P (Aולכן }.P (A) ∈ {0, 1 תרגיל :האם הטענה נכונה גם במקרה שהסדרה ב"ת רק בזוגות? 3.2 משתנים מקריים: הגדרה 3.17פונקציה מדידה: יהיו ) (X, Fו־ ) (Y, Gמרחבים מדידים .העתקה g : X → Yתקרא )(F, G־מדידה אם g −1 (B) ∈ Fלכל .B ∈ G הערה 3.18בד"כ ה־ σ־אלגברה בטווח פחות רלוונטית ולכן נרשום באופן מקוצר שההעתקה היא F־מדידה. הערה 3.19העתקה מדידה ) f : (Rn , B n ) → (Rm , B mתקרא מדידה־בורל .בפרט כל רציפה היא מיידית מדידה־בורל. הגדרה 3.20משתנה מקרי: יהיו ) (Ω, F, Pמרחב הסתברות ,משתנה מקרי )מ"מ( הוא פונקציה F־מדידה מ־ ) (Ω, Fלמרחב מדיד ) (Y, Gכלשהו .משתנה מקרי ממשי הוא פונקציה F־מדידה מ־ ) (Ω, Fל־ ).(R, B הערה 3.21כאשר נרשום ש־ Xהוא מ"מ הכוונה תמיד תהיה שהתחום הוא מרחב הסתברות והטווח הוא ).(R, B תזכורת 3.22תנאי מספיק למדידות )ראינו במידה(: יהיו ) (X, Fו־ ) (Y, Gמרחבים מדידים ותהא .g : X → Yתהא S ⊆ Gכך ש־ g −1 [A] ∈ Fלכל A ∈ Sאז gהיא ))(F, σ (S־מדידה .בפרט אם σ (S) = Gאז gהיא F־מדידה. מסקנה 3.23תנאי מספיק למדידות של מ"מ ממשי: יהיו ) (Ω, Fמרחב מדיד ותהא ) .f : (Ω, F) → (R, Bאזי fהיא F־מדידה אמ"מ f −1 [(−∞, t]] ∈ Fלכל .t ∈ R הוכחה :מיידי מהטענה הקודמת ומכך ש־ } {(−∞, t] | t ∈ Rיוצרת את .B הערה 3.24מתקיים ) B n = σ (B × · · · × Bובפרט: )}B n = σ ({(−∞, t1 ] × · · · × (−∞, tn ] | t1 , ..., tn ∈ R כלומר σ־אלגברת בורל ב־ Rnהיא ה־ σ־אלגברה שנוצרת על ידי מכפלות של קבוצות בורל ובפרט של קרנות. מסקנה 3.25וקטור מקרי הוא משתנה מקרי מדיד :Ω → R2 יהא ) (Ω, Fמרחב מדיד ויהיו X, Yמשתנים מקריים .אזי (X, Y ) : Ω → R2הוא וקטור מקרי למרחב . R2 , B 2 10 3 3.3 הסתברות בסיסית )יחסית(: סדרות של משתנים מקריים: הערה 3.26כמובן שהנ"ל נכון גם עבור וקטור מקרי (X1 , ..., Xn ) : Ω → Rnוהנ"ל מדיד כפונקציה ) .(Ω, F) → (Rn , B n הוכחה :מספיק להראות ש־ ]][(−∞, t] × (−∞, s −1 ) (X, Yהיא F־מדידה לכל t, s ∈ Rוזה נובע מיידית מכך ש: ]][(−∞, t] × (−∞, s]] = X −1 [(−∞, t]] ∩ Y −1 [(−∞, s −1 ) (X, Y טענה 3.27הרכבת פונקציות מדידות היא מדידה: יהיו ) (X, F) , (Y, G) , (Z, Hמרחבים מדידים .תהא f : X → Yהעתקה F־מדידה ותהא g : Y → Zהעתקה G־מדידה .אזי g ◦ f : X → Zהיא F־מדידה. הוכחה :תהא ,A ∈ Hמההנחה כי gהיא G־מדידה נקבל כי .g −1 (A) ∈ Gמההנחה כי fהיא F־מדידה נובע כי: −1 (g ◦ f ) (A) = f −1 g −1 (A) ∈ F מכך ניתן לראות כי g ◦ fהיא F־מדידה כנדרש. מסקנה 3.28מסקנה מיידית מהטענה הקודמת: יהא ) (Ω, Fמרחב מדיד ויהיו X, Yמשתנים מקריים אזי X + Yהוא משתנה מקרי )כלומר הוא F־מדיד(. הוכחה :מיידי מכך שהעתקת החיבור + : R2 → Rהיא רציפה ולכן מדידה־בורל. טענה 3.29אריתמטיקה כללית יותר של פונקציות מדידות )ללא הוכחה(: יהיו ) f, g : (X, F) → (R, Bפונקציות F־מדידות ויהיו α, β ∈ Rאזי: .1הקבוצה }) {x ∈ X | f (x) > g (xהיא F־מדידה )כנ"ל עבור =.(≤, ≥, <, =, 6 .2הפונקציות αf , f + αו־ αf + βgהן F־מדידות. .3הפונקציה f · gהיא F־מדידה ואם g 6= 0אז f g היא F־מדידה. .4הפונקציות } max {f, gו־ } min {f, gהן F־מדידות. .5הפונקציה f 2היא F־מדידה. .6הפונקציות f +ו־ f −הן F־מדידות. .7הפונקציה | |fהיא F־מדידה. 3.3 סדרות של משתנים מקריים: את חלק מההגדרות בקטע הבא אני הוספתי מאחר והן רלוונטיות לדיון שהתקיים בהרצאה. טענה 3.30כמה תכונות בסיסיות של סדרות משתנים מקריים: יהא ) (X, Fמרחב מדיד ותהא ) fn : (X, F) → (R, Bסדרת פונקציות F־מדידות אזי הפונקציות: )lim inf fn (x ∞→n lim sup fn (x) , ∞→n inf fn (x) , n∈N sup fn (x) , הן פונקציות F־מדידות )יש לשים לב כי הפונקציות הללו יכולות לקבל גם את הערכים ∞.(± 11 n∈N 3.3 3 סדרות של משתנים מקריים: הסתברות בסיסית )יחסית(: הוכחה :נשים לב כי לכל a ∈ Rמתקיים: ∞ ∞ \ \ = x ∈ X | sup fn (x) < a = }{x ∈ X | fn (x) < a fn−1 [(−∞, a)] ∈ F ∞ ∞ [ [ = x ∈ X | inf fn (x) < a = }{x ∈ X | fn (x) < a fn−1 [(−∞, a)] ∈ F n∈N n=1 n=1 sup fn = ]][(−∞, a n∈N n=1 n=1 −1 n∈N −1 = ]][(−∞, a inf fn n∈N מכך sup, infהם F־מדידים על סמך למה 3.23ולכן מיידית גם lim supוגם lim infהן F־מדידות שכן: )lim sup fn (x) = inf sup fk (x n∈N k≥n )inf fk (x ∞→n k≥n lim inf fn (x) = sup ∞→n n∈N טענה 3.31אוסף נקודות ההתכנסות של סדרת משתנים מקריים היא קבוצה מדידה: n o ∞ יהא ) (Ω, Fמרחב מדיד ותהא {Xn }n=1סדרת מ"מ אזי ω ∈ Ω | lim Xn (ω) existsהיא F־מדידה. ∞→n הוכחה :אם ) Xn (ωלא מתכנסת ל־ ∞ ±באף ω ∈ Ωאז פשוט נקבל כי: n o )ω ∈ Ω | lim Xn (ω) exists = ω ∈ Ω | lim inf Xn (ω) = lim sup Xn (ω ∞→n ∞→n ∞→n מאחר ש־ lim sup Xnו־ lim inf Xnהן F־מדידות ידוע שקבוצת הנקודות שעליהן הן משתוות היא קבוצה מדידה ,כנדרש. הערה 3.32אם מאפשרים לסדרה להתכנס ל־ ∞ ±צריך לעבוד קצת יותר אבל הטענה נשארת נכונה. הגדרה 3.33התכנסות כמעט תמיד של סדרת משתנים מקריים: ∞ יהא ) (Ω, F, Pמרחב הסתברות ותהא {Xn }n=1סדרת מ"מ .נאמר כי הנ"ל מתכנסת כמעט־תמיד )כ"ת( למ"מ Xאם: n o )P ω ∈ Ω | lim Xn (ω) 6= X (ω =0 ∞→n a.s כלומר Xnמתכנסת נקודתית ל־ Xפרט אולי על תת־קבוצה מהסתברות אפס .נסמן זאת .Xn −→ X הגדרה 3.34סיגמה אלגברה הנוצרת ע"י משתנה מקרי וע"י סדרת משתנים מקריים: יהא ) (Ω, F, Pמרחב הסתברות ויהא Xמשתנה מקרי: .1נגדיר את ) σ (Xלהיות ה־ σאלגברה המינימלית על Ωשעבורה Xמדיד .באופן שקול ∞ X −1 (B) | B ∈ B .σ (X) = σ ∞ .2עבור סדרת מ"מ {Xn }n=1נגדיר את ) σ ({Xn }n=1להיות ה־ σ־אלגברה המינימלית על Ωכך ש־ Xnמדיד לכל .n הגדרה 3.35אי־תלות של סדרת משתנים מקריים: ∞ ∞ יהא ) (Ω, F, Pמרחב הסתברות נאמר כי סדרת מ"מ {Xn }n=1היא ב"ת אם {σ (Xn )}n=1היא סדרה ב"ת של σ־אלגבראות. הערה 3.36גם כאן אפשר לדבר כמובן על אי־תלות של מספר סופי של מ"מ בשינוי מיידי של ההגדרה. 12 3.3 3 סדרות של משתנים מקריים: הסתברות בסיסית )יחסית(: טענה 3.37הגדרה שקולה לאי־תלות של אוסף וסדרת משתנים מקריים )תוספת(: יהא ) (Ω, F, Pמרחב הסתברות: −1 X1−1 [B1 ] , ..., XNב"ת. .1משתנים מקריים X1 , ..., XNהם ב"ת אם לכל B1 , ..., BN ∈ Fהמאורעות ] [BN .2משתנים מקריים X1 , X2 , ...הם ב"ת אם לכל N ∈ Nהמשתנים X1 , ..., XNב"ת. הגדרה 3.38אי־תלות של מ"מ בסדרת מ"מ: ∞ ∞ תהא {Xn }n=1סדרת מ"מ .נאמר כי מ"מ Yב"ת בסדרה אם ) σ (Yו־ ) σ ({Xn }n=1ב"ת. הגדרה 3.39אי־תלות של מאורע בסדרת מ"מ: ∞ ∞ תהא {Xn }n=1סדרת מ"מ .נאמר כי A ∈ Fב"ת בסדרה אם )} σ ({Aו־ ) σ ({Xn }n=1ב"ת. הגדרה 3.40סיגמת־אלגברת זנב של סדרת משתנים מקריים: ∞ T ונגדיר T תהא {Xn }n=1סדרת מ"מ נגדיר )}:= σ ({Xn , Xn+1 , ... n n n=1 כל מאורע A ∈ Tיכונה מאורע זנב של הסדרה. ∞T = ,Tהנ"ל היא σ־אלגברת הזנב של הסדרה .בפרט ∞ ∞ הערה 3.41נשים לב שאם Yהוא מ"מ T־מדיד אז הוא מיידית גם ) σ ({Xn }n=1־מדיד שכן ) .T ⊆ σ ({Xn }n=1 למה 3.42משתנים מקריים T־מדידים הם ב"ת בסדרה ב"ת )ללא הוכחה(: ∞ ∞ תהא {Xn }n=1סדרת מ"מ ב"ת ותהא σ T־אלגברת הזנב של הסדרה .אזי אם Yהוא מ"מ T־מדיד אזי Yב"ת ב־ .{Xn }n=1 הערה 3.43אפשר להראות גם שכל מאורע זנב של סדרה הוא ב"ת בסדרה )ללא צורך שהסדרה תהיה ב"ת(. משפט 3.44גרסה של חוק 1־ 0של קולמוגורוב )תרגיל(: ∞ ∞ תהא {Xn }n=1סדרת מ"מ ב"ת ויהא Yמשתנה מקרי ) σ ({Xn }n=1־מדיד כך ש־ Y, X1 , X2 , ...הם בלתי־תלויים .אזי Yקבוע כ"ת )כלומר קיים c ∈ Rכך ש־ P ({ω ∈ Ω | Y (ω) = c}) = 1ובפרט ניתן להראות ש: c = sup a ∈ R : P Y −1 [(−∞, a]] = 0 הערה 3.45נזכיר שבמשפט 0-1הקודם הראינו שמאורע זנב של סדרת מאורעות הוא ב"ת בסדרה ומכך הסקנו שהוא ב"ת תלוי בעצמו ולכן טריוויאלי .במשפט הזה התנאים קצת שונים ונתון לנו מ"מ שהוא ב"ת בסדרה שהיא בעצמה ב"ת וצריך להסיק שהמשתנה הנ"ל טריוויאלי. ∞ הערה 3.46להיות מדיד ביחס ל־ ) σ ({Xn }n=1היא דרישה חלשה בהרבה מאשר להיות מדיד ביחס ל־ ) σ (Xnלכל .n דוגמה 3.47דוגמאות: ∞ .1בהנתן סדרת מ"מ {Xn }n=1הקבוצה: ) ∞ < )Xn (ω ∞ X ( |ω ∈ Ω =A : n=1 ∞ היא F־מדידה וגם מהווה מאורע זנב של הסדרה .בנוסף ) 1A (ωהוא משתנה מקרי ) σ ({Xn }n=1־מדיד וב"ת ב־ .X1 , X2 , ... לכן אם X1 , X2 , ...היא סדרה ב"ת אז 1Aהוא קבוע כ"ת .הנ"ל שקול לכך שהמאורע Aמתרחש בהסתברות 0או ) 1הטור מתכנס על קבוצה ממידה 1או לא מתכנס על קבוצה ממידה .(1 13 3.3 3 סדרות של משתנים מקריים: הסתברות בסיסית )יחסית(: ∞ .2בהנתן סדרת מ"מ {Xn }n=1הקבוצה: ) ∞ 1X ω ∈ Ω | lim Xi (ω) exists n→∞ n n=1 ( =A : היא מאורע זנב .לכן אם הסדרה ב"ת אז P (A) = 0, 1וכאשר P (A) = 1אפשר להגדיר מ"מ )Xi (ω בפרט הנ"ל הוא T־מדיד ולכן ב"ת ב־ X1 , X2 , ...ומכך קבוע כ"ת. ∞P n=1 1 n→∞ n .Y (ω) = lim תרגיל :נתבונן בסדרה המוגדרת ע"י: 1 2 1 2 =P =P 1 n − n1 ( = Xn ∞P ∞ נניח ש־ {Xn }n=1היא סדרה ב"ת מהו הערך של )}∞ < )) P ({ω ∈ Ω | n=1 Xn (ωהאפשרויות הן .(0, 1מתברר שהתשובה היא 1והדרך להראות זאת משתמשת בא"ש צ'בישב ובכך שסכום השוניות של המשתנים המקריים הללו מתכנס. תרגיל :משתנה מקרי שמדיד ביחס למשתנה מקרי אחר הוא פונקציה שלו: יהא ) (Ω, F, Pויהיו ) X, Y : (Ω, F) → (R, Bמ"מ כך ש־ Yהוא )σ (X־מדיד אזי קיימת f : R → Rמדידה כך ש־ ).Y = f (X דוגמה 3.48דוגמה מעניינת לשאלות על מאורעות זנב ־ פרקולציה בגרף אינסופי: נתבונן בשריג אינסופי בן־מנייה )) G = (V, Eגם Eוגם Vבני־מנייה( שבו דרגת הקודקודים היא חסומה .בהנתן מנייה = E פרקולציה על השריג עם הסתברות ) pנמחק כל קשת בהסתברות 1 − pונשאיר אותה בהסתברות pבאופן בלתי } {e1 , e2 , ..נבצע 0 0 0 תלוי( ונקבל גרף חדש G = V, Eכאשר E ⊆ Eכמובן .כעת נגדיר סדרת מ"מ } Xn = 1{en ∈E 0ונגדיר סדרת σ־אלגבראות ∞T על ידי ) ,Fn = σ (X1 , ..., Xnנתבונן בזנב .T = n=1 Fnבפרט עבור כל קשת enמתקיים: n n 0 o n 0 oo 0 0 ∈ σ (Xn ) = Ω, ∅, E | en ∈ E , E | en /E 0 הערה 3.49נשים לב שעבור קודקוד v ∈ Vכלשהו המאורע "הקודקוד שייך לרכיב קשירות אינסופי בגרף "Gהוא מאורע מדיד ביחס לזנב שכן הוא המשלים של איחוד המאורעות " vשייך לרכיב קשירות מגודל kעבור k ∈ Nכלשהו" .לכן המאורע "קיים רכיב קשירות אינסופי" הוא גם כן מדיד ביחס לזנב כאיחוד על פני כל v ∈ Vשל המאורעות הללו) .למעשה נרצה לחשוב על רכיבי הקשירות כמיוצגים על ידי צלעות ולא על ידי קודקודים שכן כל הפורמליזם של הבעיה מנוסח על פי מצב הקשתות בגרף(. לאחר שהשתכנענו שהמאורע " = Aקיים רכיב קשירות אינסופי" הוא מדיד ביחד לזנב נקבל ממשפט קולמוגורוב שהוא בעל הסתברות } .P (A) ∈ {0, 1כעת אפשר להראות ש־ ) P (Aיכולה רק לעלות כאשר pגדל .כלומר ) ϕ (p) = Pp (Aהיא פונקציה עולה ולכן מכך ש־ } Pp (A) ∈ {0, 1לכל pנסיק שקיים ערך קריטי ] pc ∈ [0, 1כך ש־ } .ϕp (A) = 1{p>pcאפשר להראות שתמיד מתקיים . 13 ≤ pc ≤ 32נתבונן במקרה הפרטי של השריג ) Z2במקרה הזה אפשר להראות ש־ .(pc = 21 • נבצע פרקולציה עם .p < 13נשים לב שמספר המסלולים הפשוטים מאורך nב־ Z2שמתחילים בראשית הוא לכל היותר .4 · 3n−1הסיכוי של מסלול כנ"ל לשרוד את הפרקולציה הוא כמובן pnולכן תוחלת מספר המסלולים מאורך nשמתחילים ∞→n בראשית ושורדים את הפרקולציה היא לכל היותר .4 · 3n−1 · pnעבור p < 31נקבל כי 4 · 3n−1 · pn −→ 0ומכך בהכרח ההסתברות שהראשית תהיה שייכת לרכיב קשירות אינסופי היא אפס )אחרת התוחלת הזו הייתה שואפת למשהו גדול מאפס(. מאחר והנ"ל נכון לא רק לראשית אלא עבור כל קודקוד נסיק שהסיכוי של כל קודקוד להופיע ברכיב קשירות אינסופי הוא אפס ולכן כאשר p < 13ההסתברות שקיים רכיב קשירות אינסופי היא אפס. • עבור p > 23נראה שבהסתברות חיובית קיים רכיב קשירות שמכיל את הראשית .נתבונן בגרף הדואלי ל־ ) Z2הגרף שבו הפאות הן קודקודים וקשרתות עוברות בין פאות סמוכות בגרף המקורי( .רכיב הקשירות של הראשית הוא סופי אמ"מ קייים מסלול בגרף הדואלי מאורך שמקיף את הראשית .אפשר להראות שמספר המסלולים הדואליים מאורך nשמקיפים את הראשית הוא n לכל היותר n2 · 3n−1והסיכוי של מסלול כזה לחסום את הראשית הוא ) .(1 − pעבור p > 23נקבל כי: ∞ X n n−1 n 3 ∞ < )· (1 − p 2 n=1 14 3.4 3 התפלגויות של משתנים מקריים: הסתברות בסיסית )יחסית(: לכן מבורל קנטלי יש רק מספר סופי של ערכי nככה שיש מסלול דואלי מאורך nסביב הראשית .מהמסקנה הזו אפשר להראות שבהכרח קיים רכיב קשירות אינסופי )לא בהכח שמכיל את הראשית( עבור כל .p > 23 • התובנה העיקרית שצריך כדי להראות ש־ 3.4 1 2 = pcהיא שהגרף הדואלי ל־ Z2הוא גם כן Z2אבל ההוכחה מסובכת. התפלגויות של משתנים מקריים: הגדרה 3.50התפלגות של משתנה מקרי: יהא ) (Ω, F, Pמרחב הסתברות ויהא Xמ"מ ממשי ,אזי Xמשרה מידת הסתברות על Rשנתונה ע"י ) µ (A) = P X −1 (Aלכל .A ∈ Bבפרט מוגדרת פונקציית ההתפלגות המצטברת ) (CDFשל Xשנתונה ע"י: def )FX (t) = µ ((−∞, t]) = P X −1 (−∞, t] = P (X ≤ t טענה 3.51תכונות של ה־ CDFשל משתנה מקרי ממשי: יהא Xמ"מ ממשי עם התפלגות מצטברת FXאזי: FX .1היא מונוטונית עולה )חלש(. ∞→t ∞→t FX (t) −→ 1 .2ו־ .FX (t) −→ −1 t↓s F .3רציפה מימין ).FX (t) −→ FX (s בנוסף כל פונקציה Fשמקיימת את תכונות 1 − 3היא CDFשל משתנה מקרי ממשי .כלומר קיימת מידת הסתברות µFכך ש: )∀ x ∈ R : µF ((−∞, x]) = F (x ובפרט לכל [a, b] ⊆ Rמתקיים ).µF ([a, b]) = F (b) − F (a הוכחה :להלן ההוכחה מהקורס בתורת המידה: .1יהיו ∞ < ,−∞ < a < bנשים לב כי: FX (b) − FX (a) = µ ((−∞, b]) − µ ((−∞, a]) = µ ((a, b]) ≥ 0 מונוטונית לא יורדת .נראה רציפות מימין ,יהא x ∈ Rותהא {xn } ⊆ Rסדרה כך ש־ .xn ↓ xמכך נקבל כי לכן F ∞T ] (−∞, x] = n=1 (−∞, xnומכך מרציפות מלמטה של מידות )כאשר כאן משתמשים בסופיות של המידה בפרט( נקבל: )lim FX (xn ) = lim µ ((−∞, xn ]) = µ ((−∞, x]) = FX (x ∞→n ∞ כעת תהא {xn }n=1 ⊆ Rכך ש־ ∞ .xn ↓ −מכך נקבל כי ∅ = ] (−∞, xn ∞→n ∞T n=1 ולכן: lim FX (xn ) = lim µ ((−∞, xn ]) = µ (∅) = 0 ∞→n ∞→n מאחר והנ"ל נכון לכל סדרה כך ש־ ∞ xn ↓ −נסיק כי lim FX (x) = 0ובאופן דומה מראים את הגבול השני. ∞x→− .2נגדיר }∞ ≤ S := {(a, b] | − ∞ ≤ a < bונגדיר F (∞) = 1ו־ .F (−∞) = 0לכל (a, b] ∈ Sנגדיר: )µF ((a, b]) = F (b) − F (a זוהי מידה σ־אדיטיבית על Sולכן נוכל להרחיב את המידה הזו ל־ Bבאמצעות משפט Caratheodoryובכך נסיים. Z תרגיל :חידה :יהיו X, Y, Zמ"מ ב"ת אחידים בקטע ] [0, 1הראו ש־ ].(XY ) ∼ U [0, 1 15 3 3.5 הסתברות בסיסית )יחסית(: תוחלת של משתנה מקרי וכמה תכונות: הגדרה 3.52התכנסות בהתפלגות ):(Convergence in Distribution/Law תהא Xnסדרת מ"מ )לא בהכרח באותו מרחב הסתברות( נאמר ש־ Xnמתכנסת בהתפלגות למ"מ Xונסמן Xn −→ Xאו ∞→n ∞→n ) L (Xn ) −→ L (Xאם ) Fn (t) −→ F (tבכל tשהיא נקודת רציפות של .F D המשתנים מוגדרים באותו מרחב הסתברות היא שיש התכנסות חלשה של סדרת המידות הערה 3.53הגדרה חילופית כאשר כל המושרות ) µn (A) = P Xn−1 (Aלמידה ).µ (A) = P X −1 (A 3.5 תוחלת של משתנה מקרי וכמה תכונות: הגדרה 3.54תוחלת של משתנה מקרי )אינטגרציה(: יהא ) (Ω, F, Pמרחב הסתברות ויהא Xמ"מ ,נגדיר את התוחלת של Xע"י: ˆ ˆ = ]E [X = XdP xdµX Ω R כאשר האינטגרלים הם אינטגרלי לבג ו־ µXהיא המידה שמשרה Xעל .R הערה 3.55בפרט נאמר ש־ Xבעל תוחלת אם ∞ < ]| E [|Xאו לחילופין ).X ∈ L1 (Ω, P הערה 3.56התוחלת של משתנה מקרי Xתלויה רק בהתפלגות של Xולא במרחב ההסתברות. הגדרה 3.57מומנט של משתנה מקרי: h i k k יהא Xמ"מ נגדיר את המומנט ה־ k ∈ Nשל Xע"י E Xכאשר נאמר שהנ"ל קיים כאשר ∞ < |.E |X הערה 3.58אפשר להראות שאם ל־ Xקיים מומנט kאז קיימים כל המומנטים עבור .l ≤ k הגדרה 3.59שונות של משתנה מקרי: יהא Xמ"מ נגדיר את השונות של Xעל ידי: h i def 2 2 ]Var (X) = E (X − E [X]) = E X 2 − E [X בפרט הנ"ל קיימת אמ"מ Xבעל מומנט שני. משפט 3.60אי־שוויון ינסן ):(Jensen Inequality תהא ϕפונקציה ממשית קמורה בקטע ) (a, bויהא Xמ"מ בעל תוחלת שמקבל את ערכיו ב־ ) (a, bאזי: ])ϕ (E (X)) ≤ E [ϕ (X בתנאי ש־ ]) E [ϕ (Xקיים )אפילו במובן הרחב( ובפרט אם ∞ < ]|). E [|ϕ (X הערה 3.61ברור שעבור פונקציה קעורה אי־השוויון מתהפך. הוכחה :מההנחה כי a < X < bומכך ש־ Pהיא מידת הסתברות נקבל כי: a = E (a) < E [X] < E [b] = b מכך ש־ ϕקמורה קיים βx ∈ Rכך שעבור ) x := E [X] ∈ (a, bלכל ) X (z) ∈ (a, bמתקיים: )]ϕ (X (z)) ≥ ϕ (E [X]) + βx (X (z) − E [X 16 3 3.6 הסתברות בסיסית )יחסית(: התכנסות בהסתברות של משתנים מקריים: נקח את האינטגרל dPעל שני האגפים ונקבל: ˆ )]][ϕ (E [X])] dP + βx (E [X] − E [E [X ˆ ≥ (ϕ ◦ X) dP Ω Ω ˆ )]]dP + βx (E [X] − E [E [X = ])E [ϕ (X )]= ϕ (E [X Ω )]= ϕ (E [X]) · 1 + β (x) · 0 = ϕ (E [X h√ i p √ הערה 3.62בפרט |x| , x2 , exכולן קמורות ולכן מקבלים את אי־השוויונות המתאימים .כמו כן xקעורה ולכן ]X ≤ E [X h√ i תרגיל :האם אפשר לקבל חסם תחתון מעניין על X .E Eבמקרה ש־ Xהוא מ"מ פואסוני עם פרמטר ?λ משפט 3.63אי־שוויון הלדר: יהיו p, q > 1אקספוננטים צמודים )= 1 1 q p p p q ( p1 +ויהיו X, Yמ"מ אזי ] | .E [|X · Y |] ≤ p E [|X| ] · q E [|Y h i q P הוכחה :בה"כ אפשר להניח ש־ X, Y ≥ 0ומהומוגניות בשני האגפים אפשר להצטמצם למקרה שבו E |X| = 1וגם .E [|Y | ] = 1 מכך מספיק להראות ש־ .E [|X · Y |] ≤ 1מא"ש Youngידוע לנו ש־ yq q + ] E [X p ] E [Y q 1 1 + = + =1 p q p q עבור הוכחת א"ש Youngנשים לב כי עבור y ≥ 0קבוע הפונקציה − xy xp p ≤ xyומכך נקבל כי: ≤ ) E (XY yq q + xp p 0 = ) f (xמקיימת f (x) = xp−1 − yוגם 1 ) f ” (x) = (p − 1) xp−2 > 0לכל (x > 0מכך הנקודה x = y p−1 = y q−1היא נקודת מינימום של הפונקציה שבה ערך הפונקציה הוא 0ומהעברת אגפים מקבלים את הנדרש. תרגיל :א"ש מינקובסקי :יהיו p, q > 1אקספוננטים צמודים )= 1 1 q ( p1 +ויהיו X, Yמ"מ אזי: q q q p p p p ] | E (|X + Y | ) ≤ p E [|X| ] + p E [|Y p ובפרט ] |E [|X 3.6 p p p = kxkמגדירה נורמה על )) Lp (Ω, Pמרחב המשתנים המקריים X : Ω → Rכך ש־ ∞ < ] |.(E [|X התכנסות בהסתברות של משתנים מקריים: הגדרה 3.64התכנסות בהסתברות: P יהא ) (Ω, F, Pמרחב הסתברות .נאמר שסדרת מ"מ Xnמתכנסת בהסתברות ונסמן Xn −→ Xאם לכל :ε > 0 ∞→n P (|Xn − X| > ε) −→ 0 או לחילופין לכל ε > 0קיים N ∈ Nכך שלכל n ≥ Nמתקיים .P (|Xn − X| > ε) < ε למה 3.65התכנסות בהסתברות גוררת התכנסות כ"ת של תת־סדרה: a.s P תהא Xnסדרת מ"מ כך ש־ Xn −→ Xאזי קיימת ת"ס Xnkכך ש־ .Xnk −→ X 17 3.6 3 התכנסות בהסתברות של משתנים מקריים: הסתברות בסיסית )יחסית(: הוכחה :מהתכנסות בהסתברות בהנתן k ∈ Nקיים Nkכך שלכל n ≥ Nkמתקיים: P |X (x) − Xn (x)| > 2−k < 2−k נגדיר Ek := |X (ω) − XNk (ω)| > 2−kונקבל כי .P (Ek ) < 2−kנשים לב כי אם Ei ∞S i=k ∈ ωאז Eic / ∞T i=k ∈ ωולכן ∞→i ∈ω |X (ω) − XNi (ω)| < 2−iלכל k ≥ iכלומר ) .XNi (ω) −→ X (ωכעת נגדיר ,A := lim sup Ekעל סמך מה שראינו אם / A ∞→k ∞→i אז ) XNi (ω) −→ X (ωוכמו כן ניתן לראות כי לכל k ∈ Nמתקיים: ! ! [ ∞ ∞ ∞ ∞ \ [ X Ei ≤ P ≤ Ei 2−i = 2−k+1 i=k i=k P (A) = P k=1 i=k a.s לכן בהכרח P (A) = 0ומכך ,XNk −→ Xכנדרש. משפט 3.66התכנסות כ"ת גוררת התכנסות בהסתברות גוררת התכנסות בהתפלגות: יהא ) (Ω, F, Pמרחב הסתברות ותהא Xnסדרת מ"מ ו־ Xמ"מ .אזי: a.s P ∞→n )Xn −→ X =⇒ Xn −→ X =⇒ L (Xn ) −→ L (X הוכחה :ניתן סקיצה של ההוכחות: גוררת התכנסות בהסתברות .נגדיר } Aεn = {|Xn − X| < εונקבל שהתכנסות כ"ת שקולה לכך שעבור .1נראה שהתכנסות כ"ת ε כל ε > 0מתקיים .P lim inf An = 1כעת מהלמה של Fatouנקבל כי: ∞→n P 1 = P lim inf Aεn ≤ lim inf P (Aεn ) =⇒ lim inf P (Aεn ) = 1 =⇒ Xn −→ X ∞→n ∞→n ∞→n .2נראה שהתכנסות בהסתברות גוררת התכנסות בהתפלגות .נשים לב כי: Xn ≤ a ⇐⇒ |Xn − X| > ε ∧ X ≤ a + ε מכך נקבל כי: )P (Xn ≤ a) ≤ P (X ≤ a + ε) + P (|Xn − X| > ε מכך מהתכנסות בהסתברות לכל ε > 0קיים Nמספיק גדול כך שלכל n ≥ Nמתקיים: F (a + ε) − ε ≤ Fn (a) ≤ F (a + ε) + ε בפרט נקבל כי: )lim sup Fn (a) ≤ lim F (a + ε) = F (a ε→0 = )F (a }|{z continuity points ∞→n )lim inf Fn (a) ≥ lim F (a + ε ε→0 לכן נקבל כי בנקודות רציפות של Fמתקיים ). lim Fn (a) = F (a ∞→n 18 ∞→n 3.6 3 התכנסות בהסתברות של משתנים מקריים: הסתברות בסיסית )יחסית(: הערה 3.67התכנסות כ"ת איננה תכונה טופולוגית )במרחב של משתנים מקריים(: n o • עובדה :במרחב טופולוגי {xn } ⊆ Xמתכנסת ל־ x ∈ Xאמ"מ לכל ת"ס } {xnkקיימת ת"ס xnklכך ש־ → x .xnkl שמתכנסת nבהסתברות ולא מתכנסת כ"ת .בהנתן ת"ס } {Xnkגם היא מתכנסת בהסתברות ולכן • ניתן למצוא סדרה o {Xn }n מהלמה שהוכחנו יש לה ת"ס Xnklשמתכנסת כ"ת .כלומר הסדרה } {Xnמקיימת את התכונה שלכל ת"ס שלה יש ת"ס מתכנסת כ"ת אבל היא בעצמה לא מתכנסת כ"ת ולכן לא ייתכן שהתכנסות כ"ת מגיעה מטופולוגיה. משפט 3.68משפט ההתכנסות החסומה ):(Bounded Convergence Theorem ∞→n P a.s תהא Xnסדרת מ"מ כך ש־ Xn −→ Xאו Xn −→ Xוגם |Xn | ≤ Mלכל nאזי ].E [Xn ] −→ E [X משפט 3.69משפט ההתכנסות המונוטונית ):(Monotone Convergence Theorem ∞→n P a.s תהא Xnסדרה עולה של מ"מ כך ש־ Xn −→ Xאו Xn −→ Xאזי ].E [Xn ] −→ E [X משפט 3.70משפט ההתכנסות הנשלטת ):(Dominated Convergence Theorem ∞→n P a.s תהא Xnסדרת מ"מ כך ש־ Xn −→ Xאו .Xn −→ Xיהא Yמ"מ בעל תוחלת כך ש־ |Xn | ≤ Yלכל nאזי ].E [Xn ] −→ E [X 19 4 4 ריכוז מידה של סדרות משתנים מקריים: ריכוז מידה של סדרות משתנים מקריים: 4.1 הקדמה ודוגמאות ראשונות: ריכוז מידה של מ"מ מתעניין בכמה משתנה מקרי מפוזר סביב התוחלת שלו ,כלומר בחסמים על ).P (|X − E [X]| > ε תזכורת 4.1א"ש מרקוב וצ'בישב: עבור משתנה מקרי Xמתקיימים הדברים הבאים: .1א"ש מרקוב :לכל a > 0מתקיים )|E(|X a ≤ )P (|X| ≥ a ] E[X 2 .2א"ש צ'בישב :לכל a > 0מתקיים P (|X| ≥ a) ≤ a2ובפרט אם ∞ < E X 2אז: )Var (X a2 ≤ )P (|X − E [X]| ≥ a .3עבור פונקציה g : R → Rלא יורדת ואי־שלילית בטווח של Xולכל a > 0מתקיים: ])E [g (X )g (a ≤ )P (|X| ≥ a בפרט אי השוויון הקודם הוא מקרה פרטי של כך עבור .g (t) = t2 תזכורת 4.2משפט פוביני )בגרסת הסתברותית(: אם X, Yהם משתנים מקריים ב"ת ובעלי תוחלת אזי ] .E [X · Y ] = E [X] · E [Y הערה 4.3הניסוח הזה לא נראה כמו הניסוח הקלאסי של משפט פוביני בתורת המידה אבל הוא נובע מהמשפט הכללי יותר. הגדרה 4.4שונות משותפת ומ"מ בלתי־מתואמים: יהיו X, Yמ"מ בעלי תוחלת נגדיר את השונות המשותפת של X, Yע"י: ])] Cov (X, Y ) = E [(X − E [X]) · (Y − E [Y אפשר בקלות להראות שמתקיים: ] Cov (X, Y ) = E [X · Y ] − E [X] · E [Y ובפרט Cov (X, Y ) = 0אמ"מ ] ,E [X · Y ] = E [X] · E [Yבמקרה זה נאמר ש־ Xו־ Yבלתי־מתואמים ).(Uncorrelated הערה 4.5בפרט ניתן לראות שאי־תלות גוררת חוסר־תיאום אולם ההפך לא בהכרח נכון. דוגמה 4.6יהיו X1 , X2 , ...מ"מ כך ש־ =0 1 2 = ) ,P (Xi = 1) = P (Xi = −1נגדיר Xi =0 { |} z }| { z E [Xi ] E [Xj ] = n X 1≤i<j<n Independence X n {|}z ] E [Xi Xj = 1+2 i=1 Pn i=1 X 1≤i<j<n מכך מא"ש צ'בישב נקבל כי: n λ2 ≤ )P (|S| > λ 20 1 n = Snונשים לב כי E [S] = 0וגם: n X = E S2 E Xi2 + 2 i=1 4.1 הקדמה ודוגמאות ראשונות: בפרט ברור שעבור n √ 4 ריכוז מידה של סדרות משתנים מקריים: < λהחסם הנ"ל חסר תועלת והוא משתפר ככל ש־ λגדל .כמו כן עבור λ = nנקבל כי: 1 n ≤ )P (|S| = n) = P (|S| ≥ n כאשר בפרט |S| = nרק כאשר .X1 = ... = Xn 21 4.1 4 הקדמה ודוגמאות ראשונות: ריכוז מידה של סדרות משתנים מקריים: שאלה :השתמשנו כאן באי־תלות כדי לקבל את החסם ,נבחן מה קורה אם יש רק אי־תלות בזוגות. תרגיל :שיטה לבניית מ"מ ב"ת בזוגות: 1 Y נגדיר ∅ 6 = A ∈ P ({1, ..., )}m כל עבור . בהסתברות Y ∈ }{±1 יהיו Y1 , ..., Ymמ"מ ב"ת כך ש־ i j∈A j 2 כל B 6= Aהמ"מ XAו־ XBהם ב"ת כלומר האוסף }} {XA | A ⊆ {1, ..., mב"ת בזוגות. Q = .XA :אזי עבור הערה 4.7מאידך כבר לא מתקיימת אי־תלות בשלשות שכן למשל }.X{1,2} = X{1} X{2 הערה 4.8באמצעות וריאציה על השיטה הזו אפשר לבנות אוספים של משתנים מקריים ב"ת בשלשות ,רבעיות וכו'. מסקנה 4.9 בהנחה שהוכחנו את התרגיל הנ"ל נשים לב כי: • ניתן להגדיר 2m − 1משתנים מקריים שונים מהצורה XAשכולם ב"ת בזוגות. • מתקיים XA = 1לכל } A ⊆ {1, ..., mרק אם Y1 = ... = Ym = 1והנ"ל קורה בהסתברות .2−m • במקרה שבו Y1 = ... = Ym = 1נקבל כי: XA = 2m − 1 X =S }A⊆{1,...,m • קיבלנו שעבור n = 2m − 1אי־תלות בזוגות הספיקה לנו כדי לקבל ש: 1 n+1 = )P (|S| = n הנ"ל מראה לנו שהחסם P (|S| = n) ≤ n1שראינו בדוגמה הקודמת הוא כמעט הדוק אפילו אם דורשים רק אי־תלות בזוגות )כי יש דוגמה שמשיגה את החסם ולכן לא יכול להיות חסם הרבה יותר טוב עבור אי־תלות בזוגות(. דוגמה 4.10נשים לב כי עבור מ"מ X1 , ..., Xnכך ש־ } Xi ∈ {±1עם הסתברות או אפילו אי־תלות ברביעיות )מספיק אפילו אי־תיאום ברביעיות( אז מתקיים: =1 { |} z )n (n − 1 E Xi2 Xj2 = n + 6 ≤ 3n2 2 מכך נקבל כי 3n2 λ4 X 1≤i<j≤n 1 2 ו־ Xi Pn i=1 = Snנקבל כי אם יש אי־תלות Independence X n 4 4 {|}z E Xi + = 2 i=1 E S4 ≤ ) P (|S| > λובפרט: 3 n2 ≤ )P (|S| = n ההסתברות ש־ ) P (|S| = nמאשר במקרה שהנחנו אי־תלות רק לכן ניתן לראות שקיבלנו חסם יותר קטן שדועך יותר מהר על בזוגות .אפשר להראות שבמקרה של אי־תלות בשלשות מקבלים ש־ E S 3 = 0ולכן לא ניתן להשיג חסם מעניין בשיטה הזו. שאלה :מה ההתנהגות של ) P (|S| = nבמקרה זה ,האם היא דומה לזו של אי־תלות בזוגות או לזו של אי־תלות ברביעיות? 22 4 4.2 4.2 ריכוז מידה של סדרות משתנים מקריים: החוק החלש והחזק של המספרים הגדולים: החוק החלש והחזק של המספרים הגדולים: תרגיל :עבור זוג מאורעות A, Bמתקיים ש־ A, Bב"ת אמ"מ המ"מ המציינים 1A , 1Bהם בלתי־מתואמים. למה 4.11הלמה השנייה של בורל קנטלי עבור מ"מ ב"ת בזוגות: יהא ) (Ω, F, Pמרחב הסתברות ויהיו A1 , A2 , ... ∈ Fמאורעות ב"ת בזוגות כך ש־ ∞ = ) P (Ai הוכחה :נגדיר Xi := 1Aiו־ Xi Pn i=1 ∞P i=1 אזי = 1 .P lim sup An ∞→n = .Snמאחר שהנחנו אי־תלות בזוגות נקבל כי Cov (Xi , Xj ) = δijומכך נקבל כי: =0 ) Var(Xi |} { z n n z |} { X X 1X = ) Var (Sn ≤ )) P (Ai ) (1 − P (Ai Var (Xi ) + = ) Cov (Xi , Xj ) P (Ai 2 i=1 i=1 i=1 n X i6=j נשים לב כי ) P (Ai n X = ] E [Xi i=1 n X # = Xi i=1 " n X E [Sn ] = E i=1 מכך מא"ש צ'בישב נקבל כי: ! n n X X Sn ) P (Ai P (Ai ) > ε − 1 > ε = P Sn − P Pn ) i=1 P (Ai i=1 i=1 Pn ) Var (Sn 1 ∞→n ) i=1 P (Ai Pn ≤ Pn ≤ −→ 0 Pn 2 2 = 2 ε P (A ) i )) (ε i=1 P (Ai )) (ε i=1 P (Ai i=1 P מאחר והנ"ל נכון לכל ε > 0קיבלנו כי −→ 1 Sn ] E[Sn ומכך בהנתן ε > 0קיים nכך ש: Sn P − 1 < ε ≤ 1 − ε ] E [Sn ∞→n P הנ"ל בשילוב עם כך ש־ ∞ → E [Sn ] −גורר ש־ ∞ → Sn −ולכן עבור כל ε > 0וכל M > 0קיים nגדול מספיק כך ש־ a.s P (|Sn | > M ) ≤ 1 − εכלומר למעשה ∞ → Sn −ומהגדרת Snהמשמעות של כך היא שאינסוף Aiקורים כמעט תמיד. למה 4.12 יהא X ≥ 0מ"מ אי־שלילי בעל תוחלת אזי לכל ε > 0קיים K ∈ Nכך ש: E X · 1{X≥K} < ε בנוסף } X · 1{X<Kהוא בעל מומנט שני סופי. הוכחה :נתבונן ב־ } ,YK = X1{x<Kמאחר ש־ Xאי־שלילי ברור כי Yk ↑ Xכאשר ∞ ↑ Kולכן ממשפט ההתכנסות המונוטונית: ∞→K ∞→K E [YK ] −→ E [X] =⇒ E X · 1{X≥K} = E [X − YK ] = E [X] − E [YK ] −→ 0 בנוסף ניתן לראות כי: ∞ < = E X 2 1{X<K} ≤ E K 2 = K 2 23 2 i }X · 1{X<K h E 4.2 4 החוק החלש והחזק של המספרים הגדולים: ריכוז מידה של סדרות משתנים מקריים: משפט 4.13החוק החלש של המספרים הגדולים: תהא Xiסדרת מ"מ שווי התפלגות ,ב"ת בזוגות ובעלי תוחלת .E [Xi ] = µנסמן Xi Pn i=1 P = ,Snאזי . n1 Sn −→ µ הוכחה :מקרה ראשון :ראשית נניח ש־ Xiבעלי מומנט שני סופי כך ש־ ∞ < ) ,Var (Xiמכך מא"ש צ'בישב נקבל כי: ) n · Var (X1 ∞→Var (X1 ) n = −→ 0 2 2 ε n ε2 n ≤ )P (|Sn − µn| > εn כאשר השתמשנו בכך שמאי־תלות בזוגות של Xiנובע כי: ) Var (Xi ) = nVar (X1 n X = ) Var (Sn i=1 כעת באופן כללי יותר :מאחר ו־ Xi = Xi+ − Xi−בה"כ נניח כי .Xi ≥ 0יהא ,ε > 0על סמך הלמה הקודמת קיים K ∈ Nכך ש: E Xi · 1{Xi ≥K} < ε2 נשים לב כי } Xi = Xi · 1{Xi ≥K} + Xi · 1{Xi <Kומכך: 0 ” Sn { |} }Xi · 1{Xi ≥K Sn z n X { |} Xi · 1{Xi <K} + i=1 z n X = Sn i=1 0 0 נסמן } µ = E Xi · 1{Xi <Kו־ } .µ” = E Xi · 1{Xi ≥Kמכך ש־ ” µ = µ + µנקבל כי: ε 0 ε 0 > P (|Sn − µn| > εn) ≤ P Sn − µ n > n + P Sn” − µ” n 2 2 0 0 0 כעת מאחר ש־ Xiהוא בעל מומנט שני ובפרט Var Sn = nµנקבל מא"ש צ'בישב כי: Chebyshev 0 {|}z nµ 4µ ≤ 2 ≤ 2 ε ε n 2n כמו כן מאחר ו־ µ” = E Xi · 1{Xi ≥K} < ε2נקבל כי E Sn” ≤ ε2 nולכן: ε 0 0 P Sn − µ n > n 2 Markov z}|{ ε2 n ε ε ” ” ” P Sn − µ n > n ≤ P Sn > n ≤ = 2ε ε 2 2 2n מכך ניתן לראות כי: 4µ ∞→n + 2ε −→ 2ε ε2 n ≤ )P (|Sn − µn| > εn מאחר והנ"ל נכון לכל ε > 0נסיק את השאיפה בהסתברות ,כנדרש. הערה 4.14נשים לב שכאשר Xiהם מ"מ בעלי מומנט ראשון ושני חסומים באופן אחיד )אבל לא בהכרח זהים( החוק החלש נובע מיידית מא"ש צ'בישב ולא צריך לדרוש שוויון התפלגות. 24 4 ריכוז מידה של סדרות משתנים מקריים: החוק החלש והחזק של המספרים הגדולים: 4.2 משפט 4.15החוק החזק של המספרים הגדולים: a.s תהא Xiסדרת משתנים מקריים ש"ה ,ב"ת בזוגות ובעלי תוחלת E [Xi ] = µאזי . n1 Sn −→ µ הערה 4.16אם מניחים אי־תלות ברביעיות וקיום של מומנט רביעי אז אפשר להוכיח את המשפט באותם כלים שהשתמשנו בהם בחוק החלש באמצעות פירוק של המשתנים המקריים ושימוש בחסמים .בפרט מקבלים חסם מהצורה של nK2שמסתכם לערך סופי ולכן מהלמה הראשונה של מבורל־קנטלי תהיה סטייה של n1 Snמ־ µרק מספר סופי של פעמים. ראשון :ראשית נניח כי |Xi | ≤ 1ולכן כל המומנטים סופיים ובנוסף בה"כ .E [Xi ] = 0באופן מיידי כך ש־ |Xi | ≤ 1 הוכחה: מקרה נובע כי Var (Xi ) ≤ E Xi2 ≤ 1ומכך מא"ש צ'בישב נקבל כי: † n 1 ) Var (Sn ) z}|{ nVar (Xi ≤ 2 2 = 2 = 2 2 2 2 ε n ε n ε n ε n ≤ )P (|Sn | > εn 1 ε2 k 2 ≤ >ε | |Sk2 ∞P 1 k=1 ε2 k2 כאשר המעבר המסומן נובע מא"ת בזוגות .נתבונן בת"ס nk = k 2עבורה n o נסיק מהלמה הראשונה של בורל קנטלי שהמאורע |Skn2 | > εבהסתברות 1קורה רק מספר סופי של פעמים ומאחר והנ"ל נכון לכל a.s S 2 ε > 0נסיק כי . kk22 −→ 0כעת נשים לב כי אם ) k 2 ≤ n ≤ (k + 1נקבל כי: |Xi |≤1 n n X {|}z X 2 ≤ Xi |Xi | ≤ (k + 1) − k 2 + 1 = 2k = | |Sn − Sk2 i=k2 +1 i=k2 +1 k2 .Pמאחר ש־ ∞ < מכך נקבל כי: √ |S 2 | 2k |S 2 | 2 n | |S 2 | |Sn 2 a.s ≤ k + ≤ k + = k2 + √ −→ 0 n n n n n k n מקרה שני :בה"כ אפשר להניח כי ,X ≥ 0נסמן ] µ = E [Xiונראה כי lim sup Snn ≤ 4µבהסתברות .1בהנתן k ∈ Nנסמן 0 ∞→n 0 ” Xi = Xi + Xiכאשר } Xi = Xi 1{Xi ≤2kו־ } .Xi” = Xi 1{Xi >2kכמו כן נסמן: k ”Xi 2 X k 0 Xi + i=1 2 X = S2”k 0 S2k = S2k + i=1 0 מאחר ש־ S2k = S2k + S2”kנקבל כי: 0 S2k k k > 2µ = P S ≤ P S + P S2”k > 0 k > 2µ2 k ≥ 2µ2 2 2 2k h 0i h 0 i Pk 0 2 כמו כן E S2k = i=1 E Xi = 2k µולכן מא"ש צ'בישב נקבל כי: P 0 ≤µ {|} µz 0 0 k k k ≥ 2µ2 = P S2k − µ2 ≥ µ2 ≤ P S2k − µ 2k ≥ µ2k 0 0 0 2 k E Xi † Var S2k z}|{ 2 Var Xi ≤ = ≤ := αk µ2 22k µ2 22k µ2 2k 0 0 P S2k כאשר המעבר המסומן נובע מא"ת בזוגות .כמו כן ניתן לראות כי: k 2 2k X X > 0 = P ≤ Xi” > 0 P Xi” > 0 = 2k P Xi” > 0 = 2k P Xi ≥ 2k i=1 25 i=1 P S2”k 4.2 4 החוק החלש והחזק של המספרים הגדולים: ריכוז מידה של סדרות משתנים מקריים: נסמן ) Xi := Xהנחנו שוויון התפלגות( ונסמן .pi = P 2i ≤ X ≤ 2i+1נשים לב כי: ∞ ∞ ∞ i ∞ X X X X X = 2k P Xi ≥ 2k 2k = pi pi ≈ 2k ∞ < ]pi 2i ≈ E [X i=1 k=1 i=1 k=1 k=1 i=k ∞ X כמו כן ניתן לראות כי: ∞ k ∞ k ∞ X } E Xi2 1{Xi ≤2k 1 X X pi 22i 1 X −k X ≈ = 2 pi 22i = αk k 2 µ2 2k µ2 2 µ i=1 i=1 k=1 k=1 k=1 ∞ X k=1 ≤1 { |} z ∞ ∞ ∞ X 1 X 1 1 X = 2 pi 2i ∞ < ]pi 2i ≈ 2 E [X 2−k ≤ 2 µ i=1 µ i=1 µ k=i מכך נסיק כי ∞ < > 2µ S2k 2k ∞P k=1 P ולכן מהלמה הראשונה של בורל קנטלי בהסתברות 1קיים k0כך שלכל k > k0מתקיים S S2k+1 2k Sn n ולכן lim sup Snn ≤ 4µבהסתברות .1לסיום . 22kk ≤ 2µמכך עבור כל k ≥ k0ו־ 2k ≤ n ≤ 2k+1מתקיים ≤ 4µ 0 0 בהנתן ε > 0נבחר Kכך ש־ E Xi 1{K>k} < εונסמן ” Xi = Xi + Xiו־ ” Sn = Sn + Snכמו קודם .על סמך המקרה הראשון 0 a.s 0 S נקבל כי nn −→ µועל סמך מה שראינו כעת נקבל כי בהסתברות 1מתקיים: ” S lim sup n ≤ 4µ” ≤ 4ε n ∞→n ≤ ∞→n מכך נקבל כי בהסתברות 1מתקיים: Sn lim sup − µ ≤ 5ε n ∞→n a.s מאחר והנ"ל נכון לכל ε > 0נסיק כי , Snn −→ µכנדרש. a.s תרגיל :נניח ש־ Xiב"ת וש"ה )אך לא בהכרח בעלי תוחלת סופית( האם −→ µ Sn n אמ"מ ?E [Xi ] = µ הערה 4.17החוק החלש\חזק של המשתנים הגדולים מאששים את האינטואיציה שמשחק שבו תוחלת הרווח היא פונקציה של התפלגות מסוימת נעדיף לשחק משחק שבו ההתפלגות היא בעלת תוחלת גדולה יותר במיוחד אם נעשה חזרות רבות על המשחק. 4.2.1 כמה דוגמאות משעשעות: דוגמה 4.18פרדוקס שתי המעטפות: • נניח שישנן שתי מעטפות שבאחת יש Xכסף ובשנייה יש 2Xכסף ) Xמשתנה מקרי מפולג בצורה כלשהי( .נותנים לנו מעטפה באקראי )הסתברות ( 12שבה יש Yכסף ) Xאו 2Xבהסתברות .( 21אנחנו מסתכלים בתוכן של המעטפה ושואלים אותנו האם נרצה לשמור את המעטפה או להחליף למעטפה השנייה .לכאורה בהסתברות 12מתקיים Y = Xואז החלפה תתן לנו 0 0 Y = 2Yובהסתברות 12מתקיים Y = 2Xואז החלפה תתן לנו ,Y = Y2מכך נקבל כי לכאורה אם נחליף אז מתקיים: h 0 i 1 h 0i h h 0 ii 1Y 1 1 ] = 1 Y =⇒ E Y = E E Y |Y = 1 E [Y E Y | Y = 2Y + 2 22 4 4 h 0i 0 אולם Yהיא גם הסכום של מעטפה מקרית ולכן צריך להתקיים ] E Y = E [Yובפרט נגיע למסקנה הלא הגיונית שתמיד צריך להחליף .הסיבה שאין כאן פרדוקס היא שהחישוב שעשינו כאן איננו תקין מאחר ולא לקחנו בחשבון את האינפורמציה שגלומה בכך שראינו את ) Yכלומר את הפילוג של .(X 26 4 4.3 ריכוז מידה של סדרות משתנים מקריים: חזרה לריכוז מידה: • נתבונן במקרה שבו X = 3Nכאשר P (N = n) = 2−nונשים במעטפות Xו־ .3Xנניח שקיבלנו מעטפה וראינו ,Y = 3k הנ"ל קורה בשני מקרים: – אם X = 3kוקיבלנו את המעטפה עם X־ הנ"ל קורה בהסתברות .p = 2−k · 2−1 – אם X = 3k−1וקיבלנו את המעטפה עם 3X־ הנ"ל קורה בהסתברות .p = 2−k−1 · 2−1 – בפרט ניתן לראות שהמאורע הראשון סביר פי 2מהמאורע השני. 0 כעת אם נחליף ונסמן ב־ Yאת הסכום שנקבל אז מנוסחת Bayesנקבל כי: h 0 i 1 2−k−1 · 2−1 = P Y = 3Y | Y = 3k = −k−1 −1 2 · 2 + 2−k · 2−1 3 −k −1 0 Y 2 2 · 2 P Y = | Y = 3k = −k−1 −1 = 3 2 · 2 + 2−k · 2−1 3 מכך נקבל כי: h 0i h h 0 ii h 0 i 1 2 Y 2 2 ] = 1 Y =⇒ E Y = E E Y |Y = 1 E [Y · E Y |Y = · 3Y + 3 3 3 9 9 0 שלכאורה כדאי לנו תמיד להחליף לא משנה מה ראינו .מצד שני Yו־ Yהם בעלי אותה התפלגות ולכן צריך לכן ניתן לראות h 0 i להתקיים ] .E Y = E [Yהסיבה שאין כאן פרדוקס למרות שכאן בניגוד למקרה קודם כן ידועה לנו ההתפלגות של Xהיא h 0i h 0i פשוט שמתקיים ∞ = ] E [Yולכן השוויון ] E Y = 1 29 E [Yהוא תקין לחלוטין שכן לא נובע ממנו ש־ ] .E Y > E [Y תרגיל :נניח שישנו משחק שבו בכל שלב אם מהמרים על סכום xאז בהסתברות חצי נפסיד את הכל ובהסתברות 12נכפיל את מה שהימרנו .כעת בהנתן שיש לנו סכום התחלתי x0ומשחקים kסיבובים על המשחק שבכל סיבוב 1 ≤ j ≤ kנהמר על ) xjשהוא חלקי ל־ xj−1שהוא הסכום שהיה לנו בסוף הסיבוב הקודם( .נשאלת השאלה מהי אסטרטגיית ההימור )החלק היחסי מ־ xj−1שנרצה להמר עליה במשחק ה־ (jכך שנמקסם את חציון הסכום שיהיה לנו אחרי kסיבובים )שאותו נסמן .(xk 4.3 חזרה לריכוז מידה: מקרי : הגדרה 4.19פונקציה יוצרת מומנטים של משתנה יהא Xמ"מ הפונקציה יוצרת מומנטים של Xהיא ϕX (t) := E etXכאשר הנ"ל מוגדרת בכל נקודה שבה ∞ < .E etX הערה 4.20אפשר לראות ש־ ϕX (0) = 1בהכרח ולכן ϕXתמיד מוגדרת באפס. הערה 4.21עבור משתנה מקרי Xאפשר להגדיר tk X k !k ∞P k=0 = etXומכך בתנאי התכנסות מסוימים נקבל כי: ∞ k k tX X t E X E e = !k k=0 )(k ∞ מכך ניתן לראות ϕXהיא הפונקציה היוצרת שמוגדרת על ידי הסדרה {E [X n ]}n=1ובפרט לכל k ∈ Nמתקיים .ϕX (0) = E X k הערה 4.22ישנם מקרים שבהם ל־ Xיש את כל המומנטים שלו והם סופיים אך ϕXלא מוגדרת באף נקודה פרט לאפס. למה 4.23 tX i יהיו X1 , ..., Xnמ"מ ב"ת ,נסמן ϕi (t) = E eו־ i=1 Xi Pn = ,Snאזי )ϕi (t הוכחה :באינדוקציה פשוטה. 27 Qn i=1 = ).ϕSn (t 4.3 4 חזרה לריכוז מידה: ריכוז מידה של סדרות משתנים מקריים: דוגמה 4.24נניח ש־ Xnהיא סדרת מ"מ ב"ת המקבלים את הערכים ±1בהסתברות , 21מכך נקבל כי: ! ∞ ∞ ∞ k X tX e−t + et t2 1 X (−1) tk + tk 1 X t2k t2k E e = = = ≤ =e2 k 2 2 !k 2 !)(2k !2 k k=0 k=0 k=0 Pn נסמן Sn = i=1 Xiונקבל כי לכל t > 0מתקיים: Independence Y n n Y t2 {|}z = = )ϕi (t E etXi ≤ e 2 ·n )ϕSn (t i=1 i=1 לכן נקבל כי: Markov t2 z}|{ E etSn t2 e 2 ·n ≤ tλ = e 2 ·n−tλ >e ≤ etλ e tλ t2 הפונקציה f (t) = e 2 ·n−tλמקבלת מינימום בנקודה λ n tSn P (Sn > λ) = P e λ2 = tשערכו e− n2ומכך נסיק כי: λ2 P (Sn > λ) ≤ e− n2 נכליל את הדוגמה הזו: דוגמה 4.25נניח ש־ Xiהיא סדרת מ"מ ב"ת כך ש־ |Xi | ≤ 1וגם .E [Xi ] = 0 Pn • נסמן Sn = i=1 Xiועבור λ ≥ 0כלשהו נרצה לחסום את ההסתברות ).P (Sn ≥ λ • ראשית ניתן לראות כי לכל t ≥ 0מתקיים: Markov z}|{ E etSn = ϕSn (t) · e−tλ ≥e ≤ etλ tλ • מאחר ש־ etxקמורה ב־ tומכך שלכל |x| ≤ 1מתקיים ]∈ [0, 1 1 − x −t 1 + x t e + e 2 2 ≤ 1−x 2 tSn P (Sn ≥ λ) = P e נקבל כי: 1−x 1+x )2 (−t)+ 2 (t etx = e מכך נקבל שלכל iמתקיים: =0 1 − E [Xi ] −t 1 + E [Xi ] t e−t + et z }| { e−t + et ≤ E etXi e + = e ] + E [Xi 2 2 2 2 t2 t2 • כבר ראינו ש־ 12 (e−t + et ) ≤ e 2ולכן קיבלנו שלכל iמתקיים ϕXi (t) = E etXi ≤ e 2ומכך: ! n n Y Y t2 n 2 −tλ P (Sn ≥ λ) ≤ ϕSn (t) · e = ≤ ϕXi (t) · e−tλ e 2 · e−tλ = e 2 t −tλ i=1 i=1 • בפרט λ n = tהיא נקודת מינימום של −tλ n 2 e 2 tומכך נקבל כי: 2 −λ 2n =e 2 − λn n λ2 2 · n2 P (Sn ≥ λ) ≤ e הערה 4.26נשים לב שחייבים לדרוש ש־ λ ≥ 0שכן האנליזה שעשינו הייתה עבור .t ≥ 0 הערה 4.27בפרט ניתן לראות שהמקרה שבו Xi = ±1בהסתברות 28 1 2 משיג את החסם הנ"ל. 4 4.3 ריכוז מידה של סדרות משתנים מקריים: חזרה לריכוז מידה: על סמך הדוגמה הזו ננסח את המשפט הבא )שכרגע הוכחנו למעשה(: משפט 4.28משפט חסם הופדינג ):(Hoeffding Bound Pn λ2 תהא Xiסדרת מ"מ ב"ת כך ש־ |Xi | ≤ 1וגם E [Xi ] = 0אזי לכל λ ≥ 0מתקיים .P ( i=1 Xi ≥ λ) ≤ e− 2n λ2 הערה 4.29נשים לב שהדעיכה של e− 2nכפונקציה של λמתחילה רק ב־ n P (Sn ≥ λ) = 1וזה כמובן טריוויאלי. √ = λולכן עבור n √ < λהחסם הנ"ל נותן ש־ הערה 4.30אם במקום ההנחה ש־ |Xi | ≤ 1נניח ש־ |Xi | ≤ Ciלכל iאז אפשר להראות באמצעות אותה אנליזה שמתקיים: n ! P 2 n X − Ci · λ 2n i=1 P Xi ≥ λ ≤ e i=1 דוגמה 4.31נתבונן במקרה של ,λ = anבמקרה הנ"ל נקבל כי: a2 Sn ≥ a ≤ e− 2 n P n אפשר להראות שקיים הגבול ) I (a) := lim n1 log P Snn ≥ aמכונה ה־ .(Rate Function ∞→n דוגמה 4.32במובן מסוים חסם הופדינג עשוי להיות רחוק מאופטימלי ,נסתכל למשל במקרה שבו: P=p 1 Xi = −1 P = p 0 P = 1 − 2p √ 1 1 2 1 עבור p = n− 3נקבל ש־ Var (Sn ) = 2n 3וסטיית התקן היא . 2 · n 6מאידך הדעיכה של חסם הופדינג מתחילה רק ב־ λ = n 2 שזה הרבה מעבר לסדר של סטיית תקן אחת של Snכאשר nגדול) .היינו רוצים לקבל אומדן טוב לריכוז המידה סביב התוחלת באזור של כמה סטיות תקן בודדות מהתוחלת(. משפט 4.33משפט חסם צ'רנוף ):(Chernoff Bound תהא Xiסדרת מ"מ ב"ת כך ש־ E [Xi ] = 0 ,|Xi | ≤ 1ו־ ∞ < .Var (Xi ) = Viנסמן: Vi n X = ) V := Var (Sn i=1 אזי לכל λ ≥ 0מתקיים: n λ2 o λ ≤ max e− 4V , e− 2 ! Xi ≥ λ n X P i=1 1 הערה 4.34בפרט בדוגמה הקודמת עבור λמסדר של 2K · n 6 התוחלת. √ כדי לקבל חסם על ריכוז המידה באזור של Kסטיות תקן סביב הוכחה :ראשית על סמך הפיתוח של etxלטור חזקות נקבל כי לכל iמתקיים: =0 ∞ k k z }| { X tXi t E Xi E e = 1 + t E [Xi ] + !k k=2 29 4.3 חזרה לריכוז מידה: ריכוז מידה של סדרות משתנים מקריים: 4 מכך ש־ |Xi | ≤ 1ו־ E [Xi ] = 0נקבל כי לכל k ≥ 2מתקיים Vi = E Xi2 ≥ E Xikולכן: 1+x≤ex ∞ k k ∞ k X X {|}z tXi t E Xi t t E e =1+ ≤ 1 + Vi = 1 + V i et − 1 − t )≤ eVi (e −1−t !k !k k=2 k=2 כעת לא קשה להראות שעבור 0 ≤ t ≤ 1מתקיים et−1−t ≤ t2ומכך עבור tכנ"ל נקבל כי: t 2 E etXi ≤ eVi (e −1−t) ≤ eVi t ⇓ n P n Vi t2 Y 2 2 ≤ E etXi eVi t = ei=1 = eV t n Y = E etSn i=1 i=1 לכן על סמך פיתוחים שעשינו קודם נקבל שאם 0 ≤ t ≤ 1אז לכל λ ≥ 0מתקיים: 2 2 P (Sn ≥ λ) ≤ E etSn · e−tλ ≤ eV t · e−tλ = eV t −tλ כמו כן הפונקציה −tλ 2 λ 2V eV tמקבלת מינימום כאשר λ2 λ2 λ2 = tשערכו הוא .e 4V − 2V = e− 4Vלסיום נפריד לשני מקרים: λ2 • אם λ ≤ 2Vאז 0 ≤ t ≤ 1ולכן על סמך האנליזה הזו נקבל כי .P (Sn ≥ λ) ≤ e− 4V λ • אם λ ≥ 2Vאז נקח t = 1ונקבל כי .P (Sn ≥ λ) ≤ e− 2 מכך סה"כ נקבל את המסקנה הנדרשת. הערה 4.35נשים לב שללא הניתוח שעשינו כדי לקבל ש־ (et − 1 − t) ≤ t2עדיין נקבל שבכל מקרה מתקיים: −1−t)−λt t P (Sn ≥ λ) ≤ eV (e ניתן לראות כי: d V (et −1−t)−λt e = V et − 1 − λ dt הנ"ל מקבל מינימום ב־ + 1 λ V .t = logאם נציב זאת נקבל כי: )P (Sn ≥ λ) ≤ eV ( V +1−1−log( V +1))−λ log( V +1) = eλ−(λ+V ) log( V +1 λ λ λ λ אם λ < 2Vנוכל להשתמש באנליזה שעשינו קודם .מאידך אם λ > 2Vאז נקבל כי: )P (Sn ≥ λ) ≤ eλ−(λ+V ) log( V +1) ≤ eλ−λ log( V +1) = e−λ(log( V +1)−1 λ λ λ אפשר להראות שכאשר λ > 2Vאז מתקבל החסם הבא: ) ( Vλ −λ log 8 P (Sn ≥ λ) ≤ e−λ(log( V +1)−1) ≤ e λ לכן סה"כ נקבל את החסם: ) ) ( Vλ −λ log 8 λ2 ( P (Sn ≥ λ) ≤ max e− 4V , e 30 4.3 חזרה לריכוז מידה: דוגמה 4.36נרצה להראות שבמובן מסוים החסם הנ"ל הוא הדוק .נתבונן במקרה שבו 1 n 1 n 1− • ניתן לראות כי E [Xi ] = 0וגם • כמו כן Sn ∼ Bin n, n1 − 1 ≈ Pois (1) − 1ובפרט 1 n 4 ריכוז מידה של סדרות משתנים מקריים: − 1 n :Xi ∼ Ber = ) .Var (Xi 1 n .Var (Sn ) = 1 − על סמך כך ש־ Snמפולג בקירוב Pois (1) − 1נקבל כי לכל 0 ≤ k ≤ nמתקיים: e−1 ∼ e−1 e−(λ+1) log((λ+1)−1) = e−(λ+1) log(λ)−1 !)(λ + 1 = )P (Sn ≥ λ) ≥ P (Sn = λ ∞→n מאחר ש־ Var (Sn ) −→ 1אז החל מ־ λ = 2מתקיים λ > 2Vולכן על סמך החסם שפיתחנו נקבל כי: ) ( Vλ −λ log 8 e−(λ+1) log(λ)−1 ≤ P (Sn ≥ λ) ≤ e הנ"ל מראה ש־ )) log (P (Sn ≥ λדועך בסדר גודל של λ V .−λ log דוגמה 4.37מודל הצפרדעים :יש גרף אינסופי שעל כל קודקוד בו יושבת צפרדע ,בהתחלה כולן ישנות ,מעירים צפרדע כלשהי והיא מתחילה לעשות הילוך מקרי על הגרף )מעבר לקודקוד סמוך בהסתברות אחידה( .כל פעם שצפרדע מגיעה לקודקוד שיש בו צפרדע שעוד לא התעוררה היא מתעוררת ומתחילה מהלך מקרי זהה .אפשר לשאול כתלות בגרף האם כל הצפרדעים מתעוררות .כמו כן אפשר לעשות ווריאציה של השאלה שבה יש יותר מצפרדע אחת בכל קודקוד .בפרט ידוע שעבור עץ 100־רגולרי )שבו יש הרבה התפצלויות( כאשר יש צפרדע אחת בכל קודקוד לא כל הצפרדעים מתעוררות .נעשה קצת אנליזה פשוטה של הבעיה: • נשים לב כי בכל שלב לכל היותר מספר הצפרדעים הערות מוכפל במקרה שכל הצפרדעים העירו צפרדע ישנה. • לכן לאחר nצעדים של הבעיה מספר הצפרדעים שהתעוררו הוא לכל היותר .2n • נתבונן בעץ 100רגולרי שבו 99קשתות עולות למעלה וקשת אחת יורדת למטה בכל קודקוד. • אפשר לראות שלאחר nצעדים תוחלת הגובה של הצפרדע שהתחילה את התהליך ביחס לגובה שבו היא התחילה היא E [Sn ] = 0.98nכאשר: }1{The frog went up on the i’th step n X = Sn i=1 • מכך על סמך חסם צ'רנוף אפשר להסיק שעבור הצפרדע המקורית צפרדע הסיכוי להיות בגובה ) 0הגובה שבו היא התחילה( לאחר nצעדים דועך בצורה אקספוננציאלית כפונקציה של .nכלומר: P (Sn = 0) ≤ e−Kn עבור קבוע Kשנתון מהחסם והוא פונקציה של ) d = 100דרגת כל הקודקודים( והעובדה ש־ 99קשתות עולות .אפשר להראות שעבור דרגת קודקודים d = 99מתקיים ש־ .e−Kn ≤ 3−n • נשים לב שעבור כל צפרדע שמתעוררת ההתפלגות של הגובה שלה לאחר שהתהליך עבור nצעדים היא זהה להתפלגות של Sn )שכן אנחנו מעירים כל צפרדע בגובה התחלתי מתאים( . • מאחר שיש 2nצפרדעים ערות לכל היותר לאחר nצעדים וההסתברות לרדת לגבהים נמוכים היא כל כך נמוכה כך שלמשל שההסתברות לרדת לגובה −nשואפת לאפס כאשר ∞ → .nלכן לא נכסה את כל עץ במקרה הנ"ל. 31 5 5 5.1 מרטינגלים: מרטינגלים: מרטינגלים בדידים: מרחב הסתברות Ω, 2Ω , Pעם Ωסופית\בת־מנייה ומאורע B ∈ 2Ωכך ש־ P (B) 6= 0ניתן להגדיר מידת תזכורת 5.1בהנתן הסתברות מותנית על Ω, 2Ωע"י: )P (A ∩ B )P (B = )PB (A) = P (A|B בפרט לכל מ"מ X : Ω, 2Ω → Rמוגדרת התוחלת של Xבהנתן Bשתסומן ] E [X|Bבתור התוחלת ביחס למידה .PB 2 דוגמה 5.2נתבונן בהסתברות הבאה המוגדרת על } Ω : {1, 2, 3כאשר נייצג את הקוארדינטות כמ"מ :X, Y 3 2 1 9 1 9 1 9 1 6 1 0 0 1 3 1 6 0 Y \X 1 2 3 ניתן לראות ש־ } X ∼ U {1, 2, 3עם E [X] = 2וניתן לשאול מהי ]) E [Y |X = aכלומר לכל } a ∈ {1, 2, 3ניתן לשאול מה התוחלת של Yבהנתן המאורע .(X = aאפשר לחשב ולהראות ש־ E [Y |X = a] = 2לכל } .a ∈ {1, 2, 3כמו כן אפשר להראות ש־ E [X · Y ] = 4ומתקיים: ]E [XY ] = E [E [Y |X] · X כאשר E [Y |X] : Ω, 2Ω → Rהיא הפונקציה כך ש: ]E [Y |X] (a) = E [Y |X = a כאשר נחשוב עליה כפונקציה שתלויה רק בקוארדינטה הראשונה והיא מדידה ביחס ל־ σ־אלגברה על Ω, 2Ωשנוצרת ע"י X תזכורת 5.3משתנה מקרי בדיד אם התמונה שלו בת־מנייה )בפרט סופית( או באופן שקול: • Im (X) ⊆ Rהיא קבוצה בת־מנייה כך שלכל ) a ∈ Im (Xמתקיים .P (X = ai ) > 0 • קיימת קבוצה בת־מנייה A ⊆ Rכך ש־ .P (X ∈ A) = 1 נזכיר שאם התמונה של משתנה מקרי איננה בת־מנייה אז לא ייתכן שלכל ) a ∈ Im (Xמתקיים .P (X = a) > 0 דוגמה 5.4בהנתן מרחב הסתברות ) (Ω, F, Pוסדרת מ"מ בדידים X1 , X2 , ...נניח שמתקיים: ? E [Xk+1 |X1 = a1 , ..., Xk = ak ] = 0 עבור כל k ∈ Nועבור כל a1 , ..., akבטווח של .X1 , ..., Xkנתבונן בסכום Xi Pk i=1 = Skונתבונן בתוחלת המותנית הבאה: ] E [Sk+1 |∀i ≤ k Si = ti נשים לב כי: ] E [Sk + Xk+1 |∀i ≤ k Si = ti ] = E [Sk + Xk+1 |∀i ≤ k Si = ti ] = E [Sk |∀i ≤ k Si = ti ] + E [Xk+1 |∀i ≤ k Si = ti = tk + E [Xk+1 |∀i ≤ k Si = ti ] = tk + 0 = tk כאשר המעבר לפני האחרון נובע מכך שמהסדרה } {S1 , ..., Skניתן לשחזר בדיוק את } {X1 , ..., Xkומההנחה ?. 32 5.1 מרטינגלים בדידים: מרטינגלים: 5 הערה 5.5בקונטקסט של החלק הבא שנדבר על סדרות של משתנים מקריים המשתנים שבסדרה כולם יהיו באותו מרחב הסתברות. הגדרה 5.6מרטינגל )הגדרה ראשונית ולא מלאה(: ∞ סדרת משתנים מקריים בדידים {Mi }i=1תקרא מרטינגל אם לכל n ∈ Nולכל a1 , ..., anבטווח של X1 , ..., Xnמתקיים: ] P (M1 = a1 , ..., Mn = an ) > 0 =⇒ an = E [Mn+1 | ∀ i ≤ n Mi = ai כאשר ההסתברויות והתוחלות נלקחות ביחס למרחב ההסתברות שבו מוגדרים .Mi דוגמה 5.7מהלך מקרי סטנדרטי :עבור } Xi ∈ {±1בהסתברות מרטינגל. 1 2 ובלתי תלויים סדרת המשתנים המקריים Xi דוגמה 5.8בהנתן סדרת מ"מ בדידים וב"ת Xiכך ש־ Xi ≥ 0ו־ E [Xi ] = 1נתבונן בסדרה Xi Qn i=1 Pn i=1 = Snהיא = .Snנשים לב כי: E [Sn+1 | ∀ i ≤ n Si = ti ] = E [Sn · Xn+1 | ∀ i ≤ n Si = ti ] = tn E [Xn+1 | ∀ i ≤ n Si = ti ] = tn E [Xn+1 ] = tn לכן ניתן לראות שזהו גם כן מרטינגל. מוציאים כדור באקראי )באופן אחיד( ומחזירים דוגמה 5.9הכד של פוליה :בכד בשלב ראשון יש שני כדורים ,שחור ולבן .בכל שלב Pn אותו ועוד כדור באותו צבע .נגדיר } Xn = 1{The n’th ball is blackונגדיר Bn = i=1 Xiשהוא מספר הכדורים השחורים בשלב ה־ .nנראה ש־ Mn = Bnnהוא מרטינגל ,ניתן לראות כי: Xn+1 Bn+1 Bn | B1 = a1 , ..., Bn = an = E + |B1 = a1 , ..., Bn = an E n+1 n+1 n+1 Bn Xn+1 |B1 = a1 , ..., Bn = an + E |B1 = a1 , ..., Bn = an =E n+1 n+1 an 1 = + ] E [Xn+1 |B1 = a1 , ..., Bn = an n+1 n+1 † 1 an an 1 an z}|{ an = + = 1+ = n+1 n+1 n n+1 n n כאשר המעבר המסומן נובע מכך שההסתברות לשלוף כדור שחור בשלב ה־ nבהנתן ש־ Bn = anהיא בדיוק הכדורים השחורים בשלב ה־ .(n an n )פרופרוציית דוגמה 5.10יש חפיסת קלפים ושולפים קלפים בלי החזרה עד שעוצרים וצריך להחליט האם הקלף הבא הוא אדום או שחור .שאלנו את השאלה האם יש אסטרטגיה מועדפת שתעלה את תוחלת ההצלחה בניחוש .נסמן ב־ Rnאת מספר הקלפים האדומים שנותרו Rn Mn = 52−nעבור n = 1, ..., 51ונראה שזהו מרטינגל .נסמן בחפיסה לאחר nסיבובים )בפרט .(R0 = 26נתבונן בסדרה } Xn = 1{the n’th card was redונקבל: Xn n X Rn = 26 − i=1 כעת ניתן לראות כי: Rn+1 Rn − Xn+1 | R0 = a0 , ..., Rn = an = E |R0 = a0 , ..., Rn = an )52 − (n + 1 )52 − (n + 1 an 1 − ] E [Xn+1 |R0 = a0 , ..., Rn = an )52 − (n + 1) 52 − (n + 1 an 1 = − ] P [Xn+1 = red| R0 = a0 , ..., Rn = an )52 − (n + 1) 52 − (n + 1 an 1 52 − an an = − = 52 − (n + 1) 52 − (n + 1) 52 − n 52 − n 33 E 5.2 5 תוחלת מותנית: מרטינגלים: בקרוב נראה איך מסיקים מכך שזהו מרטינגל שלכל אסטרטגיה שנבחר נקבל שהסיכוי שהקלף הבא יהיה אדום הוא . 21באופן שקול אם נרוויח 1כל פעם שננחש נכון ונפסיד 1כל פעם שנטעה עבור כל אסטרטגיית עצירה נקבל שתוחלת הרווח היא אפס. דוגמה 5.11נזכיר שפונקציה f : R2 → Rתקרא הרמונית אם = 0 ∂2f ∂y 2 + ∂2f ∂x2 = ∆fבכל נקודה. הערה 5.12זה שקול לכך שהאינטגרל המסילתי של fעל פני מעגלים שווה לערך הפונקציה במרכז המעגל. בהנתן גרף ) G = (V, Eפונקציה f : V → Rתקרא הרמונית אם ממוצע הערכים מסביב לכל קודקוד הוא ערך הקודקוד. תרגיל :עבור Xnהילוך מקרי על Z2ו־ fהרמונית על Z2הסדרה ) f (Xnהיא מרטינגל. עוד נראה בהמשך באמצעות מרטינגלים שפונקציה הרמונית וחסומה על Z2היא בהכרח קבועה )אנלוגי למשפט ליוויל(. 5.2 תוחלת מותנית: היינו רוצים שבאופן כללי יותר גם במקרה הלא בדיד וגם כאשר יש מאורעות עם הסתברות אפס נוכל איכשהו להתנות בהם ,לקחת תוחלת מותנית ולקבל את אותן תוצאות שיש במקרה שתיארנו עד עכשיו .במציאות לצערנו יש דוגמאות שעבורן גישה נאיבית כזו לא עובדת וההגדרות שנתנו לא עובדות. דוגמה 5.13נניח שיש לנו זוג מ"מ ) (X, Yשההתפלגות המשותפת שלהם היא התפלגות אחידה על כדור היחידה .B 1 ⊆ R2 הערה 5.14כלומר לכל A ⊆ B 1מתקיים ) P ((X, Y ) ∈ A) = V (Aכאשר Vהוא הנפח לפי מידת לבג. היינו מצפים שאם נתנה במאורע ) Y = 0שהוא מאורע מהסתברות אפס( אז ההתפלגות של X|Y = 0תהיה ] .U [−1, 1מאידך, אם נעבור לקוארדינטות פולריות נקבל מהזוג ) (X, Yאת הזוג ) (θ, rכאשר θ, rבלתי תלויים θ ∼ U [0, 2π] ,ו־ rהוא בעל צפיפות f (r) = 2rעל הקטע ] .[0, 1לאחר מעבר הקוארדינטות המאורע Y = 0שקול למאורע } θ ∈ {0, πולכן מאחר ש־ X = rכאשר θ = 0ו־ X = −rכאשר θ = πנצפה שערכי X|Y = 0יהיו בעלי צפיפות בקטע ] [−1, 1שנתונה על ידי: )f (X = x|Y = 0) = x · sgn (x הדוגמה הזו מראה לנו שיש שני פילוגים שנראים לכאורה הגיוניים עבור X|Y = 0והנ"ל נובע מכך שאנחנו למעשה רוצים להתנות במאורע שההסתברות שלו היא אפס. המטרה שלנו :בהנתן מרחב הסתברות ) (Ω, F, Pועבור כל A ∈ Fנרצה להגדיר את ההסתברות ) P (A|Gכאשר G ⊆ Fהיא תת־σ־אלגברה כלשהי. הערה 5.15למעשה נרצה להגדיר פונקציה G־מדידה ].P (·|G) : F → [0, 1 באופן הנ"ל נוכל להגדיר לכל A ∈ Fאת התוחלת המותנית ) E [1A |G] = P (A|Gואם ההגדרה הזו היא לינארית נוכל להרחיב אותה באופן הסטנדרטי ולהגדיר את ] E [X|Gלכל X : (Ω, F) → Rכך ש־ ∞ < ]| .E [|Xבפרט בהנתן מ"מ Y : (Ω, F) → R אם נקח את ) G = σ (Yאז נקבל הגדרה של תוחלת מותנית במשתנה מקרי ע"י ]) .E [X|Y ] = E [X|σ (Y הגדרה 5.16תוחלת מותנית )הגדרה מלאה(: יהא ) (Ω, F, Pמרחב הסתברות ,תהא G ⊆ Fתת־σ־אלגברה ויהא Xמ"מ F־מדיד כך ש־ ∞ < ]|.(X ∈ L1 (Ω, F, P)) E [|X נאמר שמ"מ Yהוא תוחלת מותנית של Xבהנתן Gונסמן ] Y = E [X|Gאם: Y ∈ L1 (Ω, G, P) .1ובפרט Yהוא G־מדיד. .2לכל A ∈ Gמתקיים ] ) E [Y · 1A ] = E [X · 1Aלכל A ∈ Gמתקיים XdP ´ A = Y dP ´ A (. מיד נוכיח קיום של Yכנ"ל ויחידות שלו עד כדי שינוי על קבוצה עם הסתברות אפס ) Yהוא נציג של מחלקת השקילות ב־ ).(L1 (Ω, G הערה 5.17כמקרה פרטי עבור A = Ωנקבל שמתקיים: ]]E [X] = E [X · 1Ω ] = E [E [X|G] · 1Ω ] = E [E [X|G 34 5 5.2 מרטינגלים: תוחלת מותנית: תזכורת 5.18יהא ) (Ω, Fמרחב מדיד ויהיו µ, νמידות עליו: .1נאמר ש־ νרציפה בהחלט ביחס ל־ µונסמן ν µאם לכל A ∈ Fמתקיים .µ (A) = 0 =⇒ ν (A) = 0 רדון־ניקודים :אם ν, µהן מידות σ־סופיות ו־ ν µאז קיימת ) f ∈ L1 (F, µכך שלכל A ∈ Fמתקיים .2משפט ´ ) . A f dµ = ν (Aבנוסף fהנ"ל מוגדרת ביחידות עד כדי שינוי על קבוצה עם µ־מידה אפס. הוכחה ´ :הוכחת קיום של תוחלת מותנית :בהנתן ) X ∈ L1 (Ω, Fבה"כ נניח כי ) X ≥ 0שכן (X = X + − X −ונגדיר .ν (A) = A XdPזוהי מידת הסתברות על ) (Ω, Fוהיא באופן מיידי רציפה בהחלט ביחס ל־ .Pכעת מאחר ש־ G ⊆ F נקבל ש־ P, νהן מידות על ) (Ω, Gכך ש־ ν Pולכן ממשפט רדון ניקודים קיימת ) f ∈ L1 (Ω, Gכך ש: ˆ ˆ = )f dP = ν (A XdP A A לכן ] f = E [X|Gוהנ"ל מוגדרת ביחידות עד כדי שינוי על קבוצה עם הסתברות אפס. הוכחה :נביא הוכחה אלטרנטיבית לקיום של תוחלת מותנית )ההוכחה המלאה בספר של וויליאמס(: h i 2 תזכורת 5.19נזכיר שאם Xהוא מ"מ בעל מומנט שני אז ).E [X] = inf a∈R E (X − a h i 2 כעת בהנתן ) X ∈ L1 (Ω, F, Pותת־σ־אלגברה G ⊆ Fנחפש מ"מ Yשהינו G־מדיד וממזער את ) .E (X − Yנשים לב שאם ) X ∈ L2 (Ω, F, Pאז קיום של Yכנ"ל הוא מיידי מאחר ש־ ) L2 (Ω, G, Pהוא מרחב הילברט עם מכפלה פנימית = hX, Y i ] .E [X · Yכעת מאחר ש־ Y ⊥Xנקבל כי לכל ) Z ∈ L2 (Ω, G, Pמתקיים: hX − Y, Zi = E [(X − Y ) · Z] = 0 בפרט עבור Z = 1Aכאשר A ∈ Gנקבל כי: ] E [(X − Y ) 1A ] = 0 =⇒ E [X1A ] = E [Y 1A h i 2 לכן Yהנ"ל שממזער את ) E (X − Yהוא התוחלת המותנית של .Xלסיום גם במקרה שבו Xאיננו בעל מומנט שני אפשר להרחיב את ההוכחה הזו ולקבל את אותה תוצאה. נביא שתי דוגמאות פשוטות שבהן ניתן למצוא בקלות את התוחלת המותנית במפורש: דוגמה 5.20עבור } G = {∅, Ωפונקציה היא G־מדידה אמ"מ היא קבועה ולכן ברור ש־ ].E [X|G] = E [X דוגמה 5.21עבור A ∈ Fכך ש־ P (A) > 0ועבור } G = σ (A) = {∅, Ω, A, Acלא קשה להראות ש: ( 1 ] E [X1A x∈A )E [X|G] = P(A 1 c c P(Ac ) E [X1A ] x ∈ A במובן מסוים אפשר לחשוב על חישוב התוחלת המותנית של מ"מ בהנתן σ־אלגברה כעל התוחלת שתתקבל בהינתן "אינפורמציה" שניתנת לנו מכך שאנחנו מסתכלים רק על מאורעות שנמצאים באותה σ־אלגברה .אולם צריך להזהר מנקודת המבט הזו שכן לא תמיד ברור מהי האינפורמציה הזו שתמונה ב־ σ־אלגברה שבה אנו מתנים. Z דוגמה 5.22נקח } Ω = {0, 1ונגדיר )} Fn = σ ({ω ∈ Ω | an = 1לכל .n ∈ Zנגדיר σ־אלגבראות זנב עבור הסדרה הזו: )σ (Fn , Fn+1 , ... ∞ \ = TR n=1 ∞ \ )σ (F−n , F−n−1 , ... n=1 35 = TL 5.2 5 תוחלת מותנית: אפשר להראות שמתקיים: ∞ \ ) σ (Fn , F−n , Fn+1 , F−n−1 = σ (TL , TR ) ( TRL n=1 כלומר ה־σ־אלגברה שנוצרת על ידי שתי הזנבות לא זהה לזנב הדו־צדדי. 36 מרטינגלים: 5.3 5 פילטרציות ומרטינגלים: מרטינגלים: טענה 5.23שלל תכונות של תוחלת מותנית: יהא ) (Ω, F, Pמרחב הסתברות ,תהא G ⊆ Fויהיו ) ,X, Y ∈ L1 (Ω, F, Pאזי: .1מתקיים ].E [E [X|G]] = E [X .2אם Xהוא G־מדיד אז .E [X|G] = X .3לינאריותE [X + Y |G] = E [X|G] + E [Y |G] : .4חיוביות :אם X ≥ 0אז .E [X|G] ≥ 0 .5א"ש ינסן :אם ϕ : R → Rהיא פונקציה קמורה אז ] ϕ (E [X|G]) ≤ E [ϕ (X) |Gכ"ת. .6תכונת ההרכבה :עבור H ⊆ G ⊆ Fמתקיים ].E [E [X|G] |H] = E [X|H .7תכונות :TOWIKאם Zהוא G־מדיד אז ].E [Z · X|G] = Z · E [X|G .8אי־תלות :אם Xב"ת ב־ Gאז ].E [X|G] = E [X עבור סדרת מ"מ ) Xn ∈ L1 (Ω, F, Pמתקיים: .1התכנסות מונוטונית :אם Xn ≥ 0ו־ Xn ↑ Xכ"ת אז ].E [Xn |G] ↑ E [X|G a.s a.s .2התכנסות נשלטת :אם Xn −→ Xוגם קיים ) Z ∈ L1 (Ω, F, Pכך ש־ |Xn | ≤ Zאז ].E [Xn |G] −→ E [X|G .3הלמה של פאטו :אם Xn ≥ 0אז )].E [lim inf Xn |G] ≤ lim inf (E [Xn |G 5.3 פילטרציות ומרטינגלים: הגדרה 5.24פילטרציה: בהנתן מרחב הסתברות ) (Ω, F, Pפילטרציה היא סדרה עולה F0 ⊆ F1 ⊆ ...של תת־σ־אלגבראות של .F הגדרה 5.25תהליך סטוכסטי מותאם ):(Adapted Process תהליך סטוכסטי Xnיקרא מותאם ביחס לפילטרציה Fnאם Xnהוא Fn־מדיד לכל .n N נגדיר סדרת פונקציות fn : Ω → Rע"י fn (ω) = ωnונגדיר את הפילטרציה ) .Fn = σ (f1 , ..., fn דוגמה 5.26עבור }Pn Ω = {0, 1 באופן הנ"ל נקבל שהסדרה Xn = i=1 fiהיא Fn־מותאמת. הערה 5.27לכל תהליך Xnיש פילטרציה טבעית שמתאימה לו וביחס אליה הוא מתואם והיא נתונה פשוט ע"י ) .Fn = σ (X1 , ..., Xn זוהי כמובן הפילטרציה המינימלית שעבורה התהליך הנ"ל מתואם. הגדרה 5.28מרטינגל )הגדרה מלאה(: תהליך סטוכסטי ) Xn ∈ L1 (Ω, F, Pיקרא מרטינגל ביחס לפילטרציה Fnאם Xnהוא Fn־מותאם ובנוסף: a.s E [Xn+1 |Fn ] = Xn הערה 5.29הנ"ל מתלכד עם ההגדרה שנתנו עבור מ"מ בדידים כאשר Xnבדידים ו־ Fnהיא הפילטרציה הטבעית. דוגמה 5.30הצטברות מידע :יהא Xמ"מ עם תוחת ותהא Fnפילטרציה כלשהי .נגדיר ] ,Xn := E [X|Fnזהו מרטינגל שכן: Fn ⊆Fn+1 E [Xn |Fn ] = Xn {|}z = ] E [Xn+1 |Fn ] = E [E [X|Fn+1 ] |Fn 37 5.3 5 פילטרציות ומרטינגלים: מרטינגלים: הערה 5.31אפשר להראות שכל מרטינגל Xnביחס לפילטרציה Fnשהינו חסום ) (|Xn | ≤ Mקיים מ"מ Xכך ש־ ] .Xn = E [X|Fn תזכורת 5.32צביעה של קודקודי גרף תקרא צביעה חוקית אם כל שני קודקודים המחוברים בקשת צבועים בצבעים שונים .מספר הצביעה של גרף סופי הוא מספר הצבעים המינימלי שנדרשים כדי לצבוע את הגרף באופן חוקי. דוגמה 5.33נסמן ב־ Ωאת כל הגרפים בעלי nקודקודים } {v1 , ..., vkונסמן ב־ G n, 21גרף מקרי ב־ Ωשבו כל קשת אפשרית נמצאת בהסתברות ) 21הנ"ל שקול לכך לבחירה מקרית אחידה של גרף ב־ .(Ωבהנתן G ∼ G n, 21נסמן ב־ ) X = χ (Gאת מספר הצביעה של ) Gזהו מ"מ( .נגדיר פילטרציה על ידי: ) Fk = σ (Induced graph on v1 , ..., vk נגדיר תהליך סטוכסטי X1 , ..., Xnעל ידי ] ) Xk = E [X|Fkבפרט . (Xn = Xידוע שמתקיים: n ))(1 + o (1 2 log2 n = ]E [X כפי שראינו בדוגמה הקודמת Xkהוא מרטינגל ביחס ל־ ,Fkאפשר להראות )תרגיל( שמכך נובע כי )|Xk+1 − Xk | ≤ 1באופן אינטואטיבי בהנתן שראינו את מה שקורה על הקודקודים v1 , ..., vkהשינוי בערך הצפוי של Xלאחר שראינו מה שקורה גם על v1 , ..., vk+1הוא לכל היותר ,1כלומר או שנוסף צבע אחד או שלא( .בפרט מא"ש אזומה )מופיע בהמשך( אפשר להסיק כי: λ2 P (|X − E [X]| ≥ λ) ≤ 2e− 2n דוגמה 5.34הכד של פוליה ־ תיאור אלטרנטיבי: מגרילים ] X ∼ U [0, 1ואחר כך מגרילים סדרה ] {Yn } ∈ [0, 1באמצעות הגרלה של ] Yn ∼ U [0, 1ב"ת .נגדיר: ( black ball Yn ≤ X = an white ball Yn > X N אפשר להראות שבהנתן Xהסדרה } {anהיא סדרה ב"ת .נגדיר ) Fn = σ (a1 , ..., anונגדיר מרטינגל ע"י ] .Xn = E [X|Fn תרגיל :המרטינגל הנ"ל זהה למרטינגל של כפרופורציית הכדורים השחורים בתיאור המקורי של הכד של פוליה .כלומר מתקיים: ! n X 1 = Xn 1{ai =black} + 1 n+2 i=1 בנוסף המודל כולו זהה למודל הקודם של הכד של פולייה במובן שהפילוג של סדרת הצבעים של הכדורים שנגריל\נשלוף היא זהה. הגדרה 5.35תהליך סטוכסטי צפוי ):(previsible תהליך סטוכסטי } {Cnיקרא צפוי ביחס ל־ Fnאם Cnהוא Fn−1־מדיד לכל .n הגדרה 5.36טרנספורם־מרטינגל ):(Martingale Transform ∞ יהא Xnמרטינגל ביחס לפילטרציה Fnויהא Cnתהליך צפוי ביחס ל־ .Fnנגדיר תהליך {(C • X)n }n=1ע"י: ) Ck (Xk − Xk−1 n X = (C • X)n k=1 התהליך הנ"ל מכונה ה־ .Martingale Transform הערה 5.37למשל Xnיכול להיות מרטינגל כלשהו שמייצג משחק ו־ Cnיכול להיות "הימור" על הערך של .Xn 38 5.4 זמני עצירה: מרטינגלים: 5 טענה 5.38טרנספורם־מרטינגל של תהליך צפוי וחסום הוא מרטינגל: אם Cnצפוי וחסום אז התהליך Yn := (C • X)nהוא מרטינגל שמתחיל באפס. הוכחה :נשתמש בתכונות של תוחלת מותנית ונקבל: ] E [Yn+1 |Fn ] = E [Yn + Cn+1 (Xn+1 − Xn ) |Fn ] = E [Yn |Fn ] + E [Cn+1 (Xn+1 − Xn ) |Fn Cn is Fn −measurable ] Yn + Cn+1 E [Xn+1 − Xn |Fn Fn −measurable ] Yn + E [Cn+1 (Xn+1 − Xn ) |Fn {|}z = is Yn {|}z = Xn =martingale )] Yn + Cn+1 (Xn + E [Xn |Fn )] = Yn + Cn+1 (E [Xn+1 |Fn ] − E [Xn |Fn {|}z = Xn is Fn −measurable Yn + Cn+1 (Xn − Xn ) = Yn {|}z = הערה 5.39נשים לב שכאשר Xnהוא מרטינגל עבור m < nמתקיים: E[Xn |Fn−1 ]=martingale E [Xn−1 |Fm ] = ... = E [Xm+1 |Fm ] = Xm {|}z = Fm ⊆Fn−1 ] E [E [Xn |Fn−1 ] |Fm {|}z = ] E [Xn |Fm כלומר תוחלת הערך של Xnבהנתן שראינו עד השלב ה־ mהוא פשוט הערך של .Xm 5.4 זמני עצירה: הגדרה 5.40זמן עצירה ביחס לפילטרציה: בהנתן מרחב הסתברות ) (Ω, F, Pופילטרציה Fnמשתנה מקרי }∞{ ∪ T : Ω → Nיקרא זמן עצירה אם {T ≤ n} ∈ Fnלכל .n הערה 5.41אפשר להראות שמספיק לדרוש ש־ .{T = n} ∈ Fn הערה 5.42לחילופין אפשר להגדיר זמן עצירה בכך שנקח סדרת פונקציות } fn : Ω → {0, 1שהינה Fn־מותאמת ונגדיר: }T = min {n | fn = 1 למה 5.43מינימום ומקסימום של זמני עצירה הם זמן עצירה )ללא הוכחה(: אם T1 , T2הם זמני עצירה ביחס לפילטרציה Fnאז } max {T1 , T2ו־ } min {T1 , T2הם גם כן זמני עצירה. הגדרה 5.44בהנתן Xnמרטינגל ו־ Tזמן עצירה )שניהם ביחס לפילטרציה (Fnנגדיר את התהליך "שעוצר בזמן "Tע"י: )XT ∧n := Xmin(T,n כלומר כאשר T ≥ nמתקיים XT ∧n = Xnוכאשר T ≤ nמתקיים .XT ∧n = XT טענה 5.45 התהליך ) XT ∧n := Xmin(T,nהוא מרטינגל. הוכחה :נגדיר } ,Cn = 1{T ≥n} = 1 − 1{T ≤n−1ברור שזהו תהליך צפוי וחסום ולכן (C • X)nהוא מרטינגל כפי שראינו .אולם ניתן לראות כי: (C • X)n = ... = XT ∧n 39 5.4 5 זמני עצירה: מרטינגלים: למה 5.46 a.s a.s אם Tהוא זמן עצירה כך ש־ ∞ < Tאזי מתקיים .Xmin(T,n) −→ XT ∞→n a.s הוכחה :מכך ש־ ∞ < Tנקבל שכ"ת קיים Nכך שלכל n ≥ Nמתקיים .Xmin(T,n) = XT משפט 5.47משפט ־ :(OST) Doob’s Optional Stopping Theorem יהיו Xnמרטינגל ו־ Tזמן עצירה ביחס לפילטרציה Fnכך שמתקיים אחד מהתנאים הבאים: a.s ) T ≤ K .1כלומר .(∃ K P (T ≤ K) = 1 a.s T < ∞ .2ו־ ) Xmin(T,nחסום יוניפורמית כ"ת )כלומר .(∃K ∀ n P Xmin(T,n) ≤ K = 1 E [T ] < ∞ .3וההפרשים ) Xmin(T,n+1) − Xmin(T,nחסומים יוניפורמית כ"ת. אזי XTמוגדר היטב כמעט תמיד ומתקיים ] .E [XT ] = E [X0 a.s הערה 5.48דוגמה נגדית פשוטה לזמן עצירה כך ש־ ∞ < Tאולם ) Xmin(T,nלא חסום יוניפורמית הוא מהלך מקרי פשוט שעוצר כאשר מגיעים חזרה לאפס )המאורע הזה מתרחש בהסתברות .(1 הוכחה: a.s .1מכך ש־ T ≤ Kנקבל ש־ a.s ) XT = Xmin(T,Kומכך: )E [XT ] = E Xmin(T,K כעת מאחר ש־ ) Xmin(T,nהוא מרטינגל נקבל כפי שראינו בהערה 5.39שמתקיים E Xmin(T,n) |F0 = X0ומכך: ] E Xmin(T,K) = E E Xmin(T,n) |F0 = E [X0 לכן סה"כ מתקבל: ] E [XT ] = E Xmin(T,K) = E [X0 a.s a.s .2ראינו בלמה 5.46שכאשר ∞ < Tמתקיים .Xmin(T,n) −→ XTלכן מאחר והנחנו ש־ ) Xmin(T,nחסום יוניפרומית נוכל ∞→n להשתמש במשפט ההתכנסות החסומה ונקבל כי: ∞→ n ] E [X0 ] = E Xmin(T,n) −→ E [XT ] =⇒ E [XT ] = E [X0 a.s .3מההנחה ש־ |Xn+1 − Xn | ≤ Kנקבל כי: X ) min(T,n ≤ Xmin(T,n) − X0 |Xi − Xi−1 | ≤ K · min (T, n) ≤ K · T i=1 לכן Xmin(T,n) − X0חסום ע"י מ"מ אינטגרבילי ) K · Tשכן הנחנו ש־ ∞ < ] (E [Tוממשפט ההתכנסות הנשלטת נקבל כי: ∞→ n ∞→ n ] E Xmin(T,n) − X0 −→ 0 =⇒ E Xmin(T,n) −→ E [X0 מצד שני מאחר ש־ ∞ < ] E [Tבהכרח P (T < ∞) = 1ולכן: ∞→ n ] E Xmin(T,n) −→ E [XT מכך נסיק כי ] ,E [XT ] = E [X0כנדרש. 40 5.5 על\תת־מרטינגלים: 5.5 5 מרטינגלים: על\תת־מרטינגלים: הגדרה 5.49על\תת־מרטינגל: תהליך סטוכסטי Xnיקרא: .1על־מרטינגל ביחס לפילטרציה Fnאם E [Xn+1 |Fn ] ≤ Xnלכל .n .2תת־מרטינגל ביחס לפילטרציה Fnאם E [Xn+1 |Fn ] ≥ Xnלכל .n הערה 5.50נשים לב שאם Xnהוא על־מרטינגל אז לכל n < mמתקיים: ≤Xn−1 z |} { E [Xn |Fm ] = E E [Xn |Fn−1 ] |Fm ≤ ... ≤ Xm טענה 5.51 אם Xnהוא על־מרטינגל ו־ 0 ≤ Cn ≤ Kהוא תהליך חסום אז התהליך Yn := (C • X)nהוא על־מרטינגל. הוכחה :אותה הוכחה כמו במקרה של מרטינגל רגיל. מסקנה 5.52 אם Tהוא זמן עצירה ו־ Xnהוא על־מרטינגל אז ) Xmin(T,nהוא על־מרטינגל. הוכחה :אותה הוכחה כמו במקרה של מרטינגל רגיל. מסקנה 5.53משפט OSTעבור על־מרטינגלים: אם Tהוא זמן עצירה ו־ Xnהוא על־מרטינגל אזי: • התנאים של משפט OSTגוררים ש־ ] .E [XT ] ≤ E [X0 a.s a.s • במקום תנאי 2מספיק לדרוש ש־ ∞ < Tו־ Xn ≥ 0לכל .n הוכחה :נוכיח את החיזוק: h i Fatou {|}z )= E lim inf Xmin(T,n ] ≤ lim inf E Xmin(T,n) ≤ E [X0 ∞→n ∞→n i h )E [XT ] = E lim Xmin(T,n כאשר המעבר האחרון נובע מכך שלכל nמתקיים ] E Xmin(T,n) ≤ E [X0מאחר ש־ ∞→n ) Xmin(T,nהוא על־מרטינגל. הערה 5.54כל הדברים האלה נכונים באופן סימטרי בשינוי מתאים של התנאים עבור תת־מרטינגלים. 5.6 מרטינגלים וריכוז מידה: Pn נזכיר שהחסמים שפיתחנו בנושא הקודם השתמשו באי־תלות רק כדי לחסום את הפונקציה יוצרת מומנטים של Sn = i=1 Xn באמצעות העובדה שהפונקציה הנ"ל שווה למכפלת היוצרות של .Xi , ..., Xnבאופן כללי יותר גם במקרה שקיימת תלות אם היינו יודעים את התוחלות המותנות של כל Xnבהנתן X1 , ..., Xn−1היינו יכולים לקבל פירוק דומה ואולי להשיג חסם דומה .המשפט הבא נותן תנאי שבו אכן ניתן לקבל תוצאה כזו: משפט 5.55אי־שוויון הופדינג־אזומה: 41 5 5.7 מרטינגלים: דוגמאות משעשעות עם מרטינגלים: ∞ אם {Mi }i=1הוא על־מרטינגל כך ש |Mi+1 − Mi | ≤ Kכ"ת .אז לכל k ∈ Nולכל λ > 0מתקיים: λ2 P (Mk − M0 ≥ λ) ≤ e− 2k ∞ אם {Mi }i=1הוא תת־מרטינגל כך ש |Mi+1 − Mi | ≤ Kכ"ת .אז לכל k ∈ Nולכל λ > 0מתקיים: λ2 P (Mk − M0 ≤ −λ) ≤ e− 2kK 2 ∞ כתוצאה אם {Mi }i=1הוא מרטינגל כך ש |Mi+1 − Mi | ≤ Kכ"ת מתקבל חסם דו־צדדי מהצורה: λ2 P (|Mk − E [Mk ]| ≥ λ) = P (|Mk − M0 | ≥ λ) ≤ 2e− 2kK 2 כאשר ] M0 = E [Mkמאחר ומדובר במרטינגל שהפרשיו חסומים כ"ת. הערה 5.56א"ש הופדינג הוא מקרה פרטי שכן עבור |Xi | ≤ 1ב"ת Xi 5.7 Pn i=1 = Snהוא מרטינגל שמקיים את התנאים. דוגמאות משעשעות עם מרטינגלים: דוגמה 5.57מהלך מקרי פשוט ומאוזן: נתבונן ב־ Xnשמתאר מהלך מקרי פשוט על Zשמתחיל ב־ aכאשר :0 < a < b ∈ Z ( n X +1 21 i.i.d = Yk ; Yk ∼ Y Xn = a + −1 12 k=1 ראינו ש־ Xnהוא מרטינגל .נסמן ב־ Fnאת הפילטרציה הטבעית ביחס ל־ ) Xnשהיא גם הפילטרציה הטבעית ביחס לסדרה (Yn ונגדיר: }T = min {n | Xn = 0 ∨ Xn = b זהו זמן עצירה שכן } Tc = min {n | Xn = cהוא זמן עצירה לכל c ∈ Zובפרט מתקיים } .T = min {T0 , Tb a.s • נשאל מהי ) :Pa (Tb < T0מאחר ש־ ∞ < Tו־ Xmin(T,n) ≤ bמתקיים תנאי 2של משפט OSTומכך נקבל כי: Doob {|}z ) a = E [X0 ] = E [XT ] = b · P (Tb < T0 ) + 0 · P (T0 ≤ Tb ) = bP (Tb < T0 לכן ניתן לראות כי a b = ) .P (Tb < T0 • נשאל מהו ] E [Tונסיק ש־ .P (T0 < ∞) = 1ראשית נגדיר Mn = Xn2 − nונראה שזהו מרטינגל: h i 2 2 2 E Xn+1 − (n + 1) |Fn = E Xn+1 )|Fn − (n + 1) = E (Xn + Yn+1 ) |Fn − (n + 1 2 2 = E Xn2 + 2Xn Yn + Yn+1 |Fn − (n + 1) = E Xn2 |Fn + 2E [Xn Yn+1 |Fn ] + E Yn+1 |Fn = Xn2 + 2Xn E [Yn+1 |Fn ] +1 − (n + 1) = Xn2 − n | {z } =E[Yn+1 ]=0 כאשר השתמשנו בכך ש־ Yn+1ב"ת ב־ .Fnכמו כן Mnמקיים את תנאי ) (3של משפט OSTשכן: 2 2 2 Mmin(T,n+1) − Mmin(T,n) = X 2 − (n + )1 − X − n = − X − 1 X ≤1 )min(T,n+1 )min(T,n )min(T,n+1 )min(T,n מכך .E XT2 − T = E [MT ] = E [M0 ] = a2כמו כן ניתן לראות כי: ) E XT2 = b2 · P (Tb < T0 ) + 02 · P (T0 ≤ Tb ) = b2 P (Tb < T0 42 5 5.7 מרטינגלים: דוגמאות משעשעות עם מרטינגלים: מכך נקבל כי: =a b z |} { )E [T ] = E XT2 − E XT2 − T = b2 P (Tb < T0 ) −a2 = ab − a2 = a (b − a מכך שהתוחלת הזו סופית נסיק ש־ .P (T < ∞) = 1כמו כן ) P (T < ∞) ≤ P (T0 < ∞) + P (Tb < T0 מכך ניתן לראות כי: a b P (T0 < ∞) ≥ P (T < ∞) − P (Tb < T0 ) = 1 − אולם הנ"ל נכון לכל bומכך אפשר להסיק .P (T0 < ∞) = 1מכך אפשר למעשה להסיק שהתהליך יבקר בנקודה ) 0ובכל נקודה בין aל־ (bאינסוף פעמים בהסתברות .1 תרגיל :הוכח ש־ Ea [Tb |Tb < T0 ] = b2 −a2ע"י הוכחה ש־ Mn := Xn3 − 3nXnהוא מרטינגל ושימוש בכך ש־ ≤ 3 b3 + 3bTbובטריק דומה להוכחה של תנאי 3במשפט .OST )b ,n Mmin(T דוגמה 5.58מהלך מקרי לא מאוזן: נשתמש באותם הגדרות וסימונים של הדוגמה הקודמת בשינוי יחיד: ( +1 p i.i.d = ; Yk ∼ Y −1 q = 1 − p Yk n X Xn = a + k=1 לא קשה לראות ש־ Xnאיננו מרטינגל ומאידך ) Mn := Xn − n (p − qהוא כן. • נשאל מהו ) :Pa (Tb < T0התהליך Mnלא יועיל לנו עבור החישוב הנ"ל ולכן נגדיר תהליך Xn q p = ,Nnזהו מרטינגל שכן: " # " # " # Xn+1 Xn +Yn+1 Xn Yn+1 q q q q E [Nn+1 |Fn ] = E |Fn = E |Fn = E · |Fn p p p p " # # Xn " Yn+1 Xn Xn Xn Y Xn p q q q n+1 q q q q q = E = |Fn E = p +q = = )(p + q = Nn p p p p p p q p p כמו כן ) Nmin(T,nחסום יוניפורמית כ"ת ולכן ממשפט OSTנקבל כי: " # b 0 b a OST XT p p p p p {|}z = E [N0 ] = E [NT ] = E )= P (XT = b )+ P (XT = 0 ) = P (Tb < T0 ) + P (T0 < Tb | {z } q | {z } q q q q pb 1−pb ומכך לסיכום: a −1 q p −1 q p P (Tb < T0 ) = b תרגיל :להשתמש ב־ Mnכדי לחשב את ] .E [T 43 5.7 5 דוגמאות משעשעות עם מרטינגלים: מרטינגלים: הערה 5.59ניתן לראות שכאשר p 6= qמספר הפעמים שנגיע לכל נקודה הוא סופי )כלומר התהליך הוא חולף( .מאידך כאשר ההילוך יבקר בכל נקודה אינסוף פעמים. 1 2 =p דוגמה 5.60ממתינים להופעת תבנית: נתבונן ברצפים אינסופים המגיעים מ־ } {A, ..., Zונדגמים עם התפלגות אחידה וב"ת להופעה של כל אות .נסמן ב־ Liאת האות ה־ iברצף ונשאל מהי תוחלת הזמן להופעה של רצף אותיות מסוים. N • עבור רצף מאורך 1ידוע לנו שזמן ההמתנה מתפלג גיאומטרית עם פרמטר 1 26 = pולכן התוחלת היא .26 האות " "Iנראה זאת גם באמצעות מרטינגל ,נגדיר } Yn = 261{Ln =Iונגדיר מרטינגל עם הפרשים חסומים ע"י • בפרט עבורPn .Xn = k=1 Yk − nכמו כן נגדיר זמן עצירה } ,T = min {n | Ln = Iהנ"ל מקיים ∞ < ] E [Tולכן ממשפט OSTנקבל: OST {|}z 0 = E [X0 ] = E [XT ] = E [26 − T ] =⇒ E [T ] = 26 • כעת עבור מילה כלשהי λ1 λ2 ...λkנגדיר: if n ≥ m ∧ n − m ≤ k ∧ Lm ...Ln = λ1 ...λn+1−m if n ≥ m ∧ n − m > k ∧ Lm ...Lm+k = λ1 ....λk Otherwise n+1−m 26 = 26k 0 Ynm נטען שעבור mכלשהו התהליך: }Ynm − 1{n≥m הא מרטינגל ביחס לפילטרציה ) .Fn = σ (L1 ...Lnכמו כן סכום סופי של מרטינגלים הוא גם כן מרטינגל ולכן: =0 ∞ n {|}z X X m m Yn + = Yn −n Ynm − m m=n+1 m=1 n X = Ynm − n m=1 ∞ X = Xn m=1 הוא גם כן מרטינגל .נגדיר זמן עצירה על ידי: } T = min {n | Ln−k ...Ln = λ1 ...λk הנ"ל מקיים ∞ < ] E [Tוכמו כן ) Xmin(T,nהוא בעל הפרשים חסומים יוניפורמית ולכן ממשפט :OST " T # T T X X X m 0 = E [X0 ] = E [XT ] = E = ] YT − T =⇒ E [T = ] E [YTm E YTT −i i=1 m=1 m=1 מההגדרה E YTT −i = 0כאשר i > kוכאשר i ≤ kנקבל כי: λ1 ...λi = λk−i+1 ...λk otherwise ( 26i+1 = 0 YTT −i לכן סה"כ נקבל כי: } 26i+1 1{λ1 ...λi =λk−i+1 ...λk k−1 X k 1{λ1 ...λi =λk−i+1 ...λk } = 26 + i=1 i+1 26 k X = ] E [T i=1 הערה 5.61כדי להראות ש־ ∞ < ] E [Tמספיק להבחין שיש פילוג גיאומטרי על הזמן עד שאחד מהרצפים הב"ת מאורך ) kכלומר Lk+1 ....L2k+1 ,L1 ....Lkוכן הלאה( יהיה זהה למילה .λ1 ...λkלכן מאחר שתוחלת הזמן עד שרצף כלשהו מאורך kיהיה זהה למילה המבוקשת קטנה מתוחלת הזמן )הסופית( עד שרצף בלתי תלוי יהיה שווה למילה נסיק ש־ ∞ < ] . E [T 44 5 מרטינגלים: 5.8 5.8 התכנסות של מרטינגלים: התכנסות של מרטינגלים: נרצה להוכיח את המשפט הבא: משפט 5.62מרטינגל חסום מתכנס כמעט תמיד: a.s יהא Xnמרטינגל חסום ) (∃ K : ∀ n P (|Xn | ≤ K) = 1אזי קיים מ"מ Yכך ש־ .Xn −→ Y הערה 5.63יש תנאים הרבה יותר חלשים להתכנסות של מרטינגלים כגון מומנט שני חסום. הוכחה :נוכיח טענה יותר חזקה לפיה על־מרטינגל אי־שלילי מתכנס כ"ת: למה 5.64 יהא Xnעל־מרטינגל אי־שלילי כך ש־ .X0 ≡ a > 0בהנתן b > aנגדיר } Tb = min {n | Xn ≥ bאזי a b ≤ )∞ < .Pa (Tb הוכחה :בהנתן N ∈ Nנתבונן ב־ ) Xmin(Tb ,nשהינו על־מרטינגל אי־שלילי עבור .n = 0, ..., Nעבור הנ"ל מתקיים: bP (Tb ≤ N ) ≤ E Xmin(Tb ,N ) ≤ E [X0 ] = a כאשר אי־השוויון השמאלי נובע מכך ש־ Tb ≤ Nאמ"מ Xmin(Tb ,N ) ≥ bומכך ש־ () Xn ≥ 0לכן ולכן Pa (Tb < ∞) ≤ abכנדרש. a b ≤ ) P (Tb ≤ Nלכל N ∈ N על סמך הלמה הזו נסיק ש־ Xnבהסתברות 1לא שואף לאינסוף שכן כאשר ∞ → bמתקבל ש־ . Pa (Tb < ∞) → 0לכן כדי להראות ש־ Xnמתכנס מספיק להראות שהוא לא עושה פלקטואציות .עבור 0 < a < bכלשהם נגדיר את מספר החציות מעלה ) (upcreasingשל ] [a, bעל ידי: }u (a, b) = max {n | ∃ t1 < s1 < t2 < ... < sn s.t ∀ i = 1, ..., n Xti ≤ a, Xsi ≥ b טענה 5.65 מתקיים a k b ≤ ).P (u (a, b) ≥ k הוכחה :באינדוקציה .עבור k = 1המסקנה היא תוצאה של הלמה הקודמת התרחשה חצייה אמ"מ ∞ < Tbוהנ"ל מתרחש a u (a,אם המאורע שירדנו שוב מתחת ל־ aהתרחש אז ההסתברות שעלינו מחדש בהסתברות הקטנה מ־ . bכעת בהנתן ש־ b) ≥ k a מעל bחסומה שוב על סמך הלמה הקודמת על ידי bולכן מתקבלת המסקנה הנדרשת. על סמך הטענה הזו ) u (a, bסופי כ"ת לכל a < bשכן ההסתברות ש־ u (a, b) ≥ kשואפת אקספוננציאלית לאפס עם .kמכך נסיק ש־ Xnמתכנס כ"ת שכן אם הוא לא היה מתכנס אז למשל עבור a = lim inf Xn < lim sup Xn = bהיינו מקבלים שלכל a < c < d < b המרטינגל חייב לחצות את ) (c, dאינסוף פעמים אולם כפי שראינו הנ"ל לא קורה .לכן בהכרח lim inf Xn = lim sup Xnויש התכנסות כ"ת כנדרש. דוגמה 5.66הכד של פולייה :אם Xnהוא המרטינגל שמוגדר ע"י פרופורציית הכדורים השחורים אז מהיותו חסום המשפט הקודם a.s נותן לנו את זה ש־ Xn −→ Xלמ"מ Xכלשהו .בפרט מתקבל ש־ ].X ∼ U [0, 1 דוגמה 5.67יהא Xמ"מ חסום ותהא Fnפילטרציה .נתבונן במרטינגל ] ,Xn = E [X|Fnזהו מרטינגל חסום ולכן lim Xnקיים ∞→n כ"ת על סמך המשפט הקודם .נשאלת השאלה האם . lim Xn = Xהתשובה היא "לא בהכרח" אולם בתנאי מסוים הנ"ל כן מתקיים ∞→n כמו שמעיד המשפט הבא: משפט 5.68משפט ־ :Levy’s Upward Theorem S יהא Xמ"מ חסום ותהא Fnפילטרציה אזי ] ∞ lim E [X|Fn ] = E [X|Fכאשר .F∞ = σ n∈N Fn ∞→n 45 5.8 5 התכנסות של מרטינגלים: מרטינגלים: הוכחה :נסמן ] Xn = E [X|Fnו־ ) X∞ = lim Xnקיים שכן Xnהוא מרטינגל חסום( .בה"כ אפשר להניח ש־ F∞ X־מדיד שכן ∞→n אחרת נקח ] ∞ X = E [X|Fונקבל ש־ Xnנשארים אותו דבר לפי תכונת המגדל .כעת בהנתן n ∈ Nו־ A ∈ Fnנקבל כי: )(1 )(2 {|}z {|}z ] E [X∞ 1A ] = E [Xn 1A ] = E [X1A המעבר השני נובע פשוט מהגדרת התוחלת המותנית ומכך ש־ ] Xn = E [X|Fnוהמעבר הראשון נובע מכך שאם נסתכל על Xm 1A ולכן ממשפט ההתכנסות החסומה נובעת גם התכנסות עבור m = n, n + 1, ...נקבל כי זהו מרטינגל חסום המתכנס כ"ת ל־ S X∞ 1A של התוחלות .בכך הראינו ש־ ∞ Xו־ " Xמסכימים" בתוחלת עבור כל A ∈ n∈N Fnשהיא קבוצה סגורה לחיתוכים .העובדה הזו a.s מספיקה כדי להסיק ש־ ∞ X = Xעל סמך הלמה הבאה שאותה לא נוכיח: למה 5.69 a.s יהיו X, Yמ"מ חסומים ותהא Sקבוצה סגורה לחיתוכים היוצרת את הסיגמה אלגברה Fאזי X = Yאמ"מ: ] ∀ A ∈ S : E [X1A ] = E [Y 1A דוגמה 5.70נגדיר את המשתנים המקריים הבאים: ( 1 pn = , Yn 0 1 − pn 1 2 1 2 ( 0 =X 1 כמו כן נגדיר .Zn = X + Yn mod 2אפשר לחשוב על המודל הנ"ל כעל מצב שבו Xמייצג ביט של אינפורמציה ו־ Yn מייצג רעש מקרי שמפריע לנו לקלוט את האינפורמציה הרלוונטית כאשר Znהוא הקלט שמתקבל .נגדיר ) Fn = σ (Z1 , ..., Zn ו־ ] ) Xn = E [X|Fnכלומר Xnהוא הצפייה שלנו ביחס לערך של Xבהנתן הקלט שהתקבל ב־ nהמקרים הראשונים(. a.s a.s אם pn ≡ p 6= 21אז Xn −→ Xוהנ"ל לא קורה אם pnמתכנס מהר ל־ ) 12באופן מדויק Xn −→ Xאמ"מ תרגיל: P 1 2 (. ∞ = pn − 2 46 6 6 שרשראות מרקוב: שרשראות מרקוב: ספר מומלץ ־ .Markov Chains and Mixing Times by Yuval Peres הגדרה 6.1שרשרת מרקוב )בזמן בדיד(: סדרת משתנים מקריים בדידים Xn : Ω → Sהמקבלים ערכים בקבוצה Sתקרא שרשרת מרקוב אם ההתפלגות של Xn+1בהנתן X0 , ..., Xnהיא פונקציה של Xnבלבד במובן שקיימת מטריצה\פונקציה ] P : S × S → [0, 1כך ש: )P (Xn+1 = y | X0 = a0 , X1 = a1 , ..., Xn = x) = P (x, y התכונה הזו מכונה תכונת מרקוב. הערה 6.2הקבוצה Sמכונה מרחב המצבים ו־ Pמכונה מטריצת\פונקציית המעבר ולמעשה הזוג ) (S, Pמאפיין את השרשרת בלי צורך להתייחס להתפלגויות של המשתנים המקריים Xnעצמם. הערה 6.3אפשר לראות ש־ Pהיא מטריצה סטוכסטית כלומר: X ∀ x, y ∈ S P (x, y) ≥ 0 ∧ ∀x ∈ S : P (x, y) = 1 y∈S הערה 6.4כרגע אנחנו עוסקים בשרשראות מרקוב עם מרחב מצבים סופי\בן־מנייה וסט אינדקסים בן־מנייה ,הנ"ל מכונות שרשראות מרקוב עם מרחב מצבים דיסקרטי בזמן דיסקרטי .יש גם הכללה לשרשראות מרקוב עם קבוצת אינדקסים שאיננה בת מנייה אשר מכונות שרשראות מרקוב בזמן רציף. דוגמה 6.5דוגמאות פשוטות: .1סדרת מ"מ בלתי תלויים היא מיידית שרשרת מרקוב. .2סדרת הסכומים\מכפלות החלקיים של סדרת מ"מ בלתי תלויים .למעשה הנ"ל נכון עבור כל פעולה מצטברת ולמשל עבור הרכבת פרמוטציות כאשר Xnהן פרמוטציות ב"ת על Nאיברים ונגדיר .Sn = X0 ◦ X1 ◦ ... ◦ Xn דוגמה 6.6נשאל האם הכד של פולייה הוא שרשרת מרקוב: • אם מסתכלים על תיאור הבעיה כך ש־ Xnמכיל בכל שלב את סדרת הצבעים שנשלפו עד כה אז כמובן שמתקבלת שרשרת מרקוב. • אם נסתכל על תיאור הבעיה כך ש־ Xnמכיל בכל שלב כמה כדורים יש מכל צבע )) (Xn = (#black, #whiteאו כך ש־ Xn היא פרופורציית הכדורים השחורים שנשלפו אז לא מתקבלת שרשרת מרקוב. הערה 6.7לפעמים מסתכלים על שרשראות מרקוב שבהן מטריצת המעבר Pיכולה להיות תלויה ב־ ) nמכונות שרשראות מרקוה לא אחידות בזמן( ובמקרה הנ"ל גם התיאור השני מהווה שרשרת מרקוב. דוגמה 6.8צפרדע יושבת על אחד משני עלים W, Eובכל יום היא בוחרת האם לעבור מהעלה שהיא נמצאת בו לעלה השני כפי שמתואר במטריצת המעברים הבאה: W p 1−q E 1−p q 47 P = E W 6 שרשראות מרקוב: ∞ N נתבונן בסדרת המשתנים המקריים } {Xt }t=0 ∈ {E, Wאשר מתארת את מיקום הצפרדע בזמן .tנניח שבזמן tההתפלגות של הצפרדע להיות במיקום מסוים נתונה על ידי: )) µt = (µt (E) , µt (W )) = (P (Xt = E) , P (Xt = W נשים לב שמנוסחת ההסתברות השלמה מתקיים: )P (X0 = a0 , ..., Xt = at , Xt+1 = E X = )µt+1 (E) = P (Xt+1 = E } a0 ,a1 ,...,at ∈{E,W )P (X0 = a0 , ..., Xt = W, Xt+1 = E X X P (X0 = a0 , ..., Xt = E, Xt+1 = E) + } a0 ,a1 ,...,at ∈{E,W = } a0 ,a1 ,...,at ∈{E,W X )P (X0 = a0 , ..., Xt = E) · P (Xt+1 = E|X0 = a0 , ..., Xt = E = } a0 ,a1 ,...,at ∈{E,W X )P (X0 = a0 , ..., Xt = W ) · P (Xt+1 = E|X0 = a0 , ..., Xt = E + } a0 ,a1 ,...,at ∈{E,W )= P (Xt = E) P (Xt+1 = E|X0 = a0 , ..., Xt = E) + P (Xt = W ) P (Xt+1 = E|X0 = a0 , ..., Xt = E = µt (E) · P (E, E) + µt (W ) · P (W, E) = µt (E) · (1 − p) + µt (W ) · q }|{z Markov Property מכך ניתן לראות שבזמן t + 1ההתפלגות כולה מתקבלת על ידי המכפלה: > µt (E) (1 − p) + µt (W ) q = )) = W = µ0 P )µt (E) p + µt (W ) (1 − q µt+1 = (P (Xt+1 = E) , P (Xt+1 באופן כללי יותר נקבל באינדוקציה שההתפלגות בזמן t + 1נתונה על ידי: µt+1 = µt P = µ0 P t+1 ∞→t כעת נניח שסדרת הפילוגים µtמתכנסת לפילוג πכאשר ∞ → .tמכך ש־ µt P = µt+1נסיק שגם µt P −→ πולכן מכך ש־ P היא פונקציה רציפה על מרחב קומפקטי )כי Sסופית או בת־מנייה עם טופולוגיה דיסקרטית( נקבל כי .π = πP הערה 6.9בפרט נאמר במקרה כנ"ל ש־ πהיא מידה סטציונרית וש־ µtמתכנסת למידה סטציונרית. q p ) π = p+qפרט למקרה שבו p = q = 0שבו כל , p+q נשים לב שפתרון של המשוואה π = πPמתקבל רק עבור πשנתונה על ידי q p ,π = p+q , p+q וקטור הוא פתרון( .אם כן הראינו שבמקרה שבו לא מתקיים p = q = 0אז אם יש התכנסות בהכרח הגבול הוא נראה מתי באמת מתקיימת התכנסות כנ"ל .נסמן ) ,µt = (xt , 1 − xtנגדיר µt+1 = µt Pנקבל כי: p p+q ∞→t ∆t = xt −ונבדוק מתי ־ .∆t −→ 0מאחר ש־ xt+1 = xt (1 − p) + (1 − xt ) q = xt (1 − p − q) + q לכן נקבל כי: q q = xt (1 − p − q) + q − p+q p+q q q = ∆t (1 − p − q) + (1 − p − q) + q − )= ∆t (1 − p − q p+q p+q | {z } ∆t+1 = xt+1 − =0 ∞→t ∞→t מאחר ש־ ∆t −→ 0אמ"מ µt −→ πנסיק שמתקיימת התכנסות אלא אם p = q = 0או ,p = q = 1נבחן את המקרים הללו: .1אם p = q = 0אז µt+1 = µt = ... = µ0אולם כל התפלגות היא סטציונרית שכן .P = I 48 6 שרשראות מרקוב: t .2אם p = q = 1אז ) ∆t = ∆0 (−1ולכן אין התכנסות אלא אם µ0עצמה סטציונרית. נגדיר כעת את המושגים מהדוגמה הקודמת בצורה פורמלית: הגדרה 6.10מידה סטציונרית: בהנתן שרשרת מרקוב ) (S, Pנאמר ש־ πהיא מידה סטציונרית על Sאם .π = πP הערה 6.11בפרט אם πהיא מידת הסתברות נאמר ש־ πהיא התפלגות סטציונרית. משפט 6.12לשרשרת מרקוב עם מרחב מצבים סופי קיימת התפלגות סטציונרית: בהנתן שרשרת מרקוב ) (S, Pכך ש־ Sסופית קיימת התפלגות סטציונרית על .S הוכחה :הוכחה ראשונה :במקרה שבו Sסופי הכפלה מימין ב־ Pהיא פונקציה רציפה מהסימפלקס )שקול טופולוגית לכדור(: ( ) X | ]∆ (S) = µ : S → [0, 1 µ (s) = 1 s∈S לעצמו .לכן על פי משפט נקודת השבת של ברואר יש לה נקודת שבת ולכן קיימת ) π ∈ ∆ (Sכך ש־ .π = πP µ0 n+1 הוכחה שנייה :נתבונן במידות מהצורה ) (I + P + ... + P n מתכנסת למידה סטציונרית שכן: n+1 P ~ ∞→− I n νn (P − I) = µ0 −→ 0 n+1 = .νn :אם הסדרה הזו הייתה מתכנסת אז היינו מקבלים שהיא כאשר עושים שימוש בכך ש־ P nהן מטריצות סטוכסטיות שערכיהן חסומים ע"י .1בכל מקרה מדובר בסדרה חסומה ולכן קיימת לה תת־סדרה מתכנסת לאיזושהי מידה πוזוהי מידה סטציונרית שכן מרציפות של ) (P − Iמתקבל ש: π (P − 1) = lim νnk (P − I) = 0 ∞→n הוכחה שלישית )חלקית( :מאחר ש־ Pהיא מטריצה סטוכסטית 1הוא ערך עצמי ימני שלה עם וקטור עצמי .~1לכן יש ל־ Pוקטור עצמי שמאלי המקיים π = πPאולם לא ברור באופן מיידי ש־ ) .π ∈ ∆ (Sמאידך משפט פרון־פורבניוס נותן את התוצאה הזו. תרגיל :נתבונן במהלך מקרי פשוט {Xt }tעל גרף לא מכוון וסופי ) G = (V, Eכאשר הערך של Xt+1נבחר בהתפלגות אחידה ) π (x) = deg(xמהווה מידת הסתברות סטציונרית כאשר ערכי מטריצת המעברים נתונים על ידי: מבין השכנים של .Xtאזי |2|E 1 }1{x∼y ))deg ((x, y = )P (x, y אם הגרף איננו סופי אך קשיר ועם דרגות קודקודים סופיות ) π (x) = deg (xהיא מידה סטציונרית אך איננה מידה סופית. דוגמה 6.13נתבונן בשרשרת מרקוב עם מרחב מצבים Nופונקציית מעברים .P (n, n + 1) = 1במקרה הנ"ל לא קיימת התפלגות סטציונרית שכן אם הייתה קיימת התפלגות אז היה מתקיים π (0) = πP (0) = 0וכנ"ל π (1) = πP 2 (1) = 0וכן הלאה π (n) = πP n (n) = 0ומכך π ≡ 0וזוהי כמובן איננה מידת הסתברות. הגדרה 6.14שרשרת מרקוב אי־פריקה: שרשרת מרקוב ) (S, Pתקרא אי־פריקה אם לכל x, y ∈ Sקיים n ∈ Nכך ש־ .P n (x, y) > 0 הערה 6.15אי־פריקות לא תלויה בהסתברויות המעברים אלא רק בגרף המעברים של השרשרת )הגרף המכוון שבו קיימת קשת x → yאמ"מ (P (x, y) > 0ולמעשה אי־פריקות שקולה לקשירות חזקה של הגרף הנ"ל. 49 6 שרשראות מרקוב: הגדרה 6.16פונקציה הרמונית על שרשרת מרקוב: בהנתן שרשרת מרקוב ) (S, Pפונקציה h : S → Rתקרא הרמונית אם .h = P h הערה 6.17בפועל נתייחס ל־ hבתור וקטור ב־ .RS הערה 6.18אם µהיא התפלגות על Sו־ f : S → Rהיא פונקציה אז מתקיים: X = ))Eµ (f (Z µ (x) f (x) = µ · f x∈S כאשר Zהוא מ"מ עם התפלגות .µ דוגמה 6.19בהנתן שרשרת מרקוב ) (S, Pו־ x ∈ Sנתבונן במידת ההסתברות ] ex : S → [0, 1הנתונה ע"י: ( 1 z=x = )ex (z 0 z 6= x נשים לב שבהגדרה הזו בהנתן פונקציה ) h : S → Rוקטור (h ∈ RSנקבל כי ) ex · h = h (xוכמו כן: X = (ex P ) · h )) (ex P ) (x) h (x) = Eµ0 (h (X1 x∈S כאשר X0 , X1 , ..היא שרשרת מרקוב עם מטריצת מעברים Pהמתחילה ב־ X0 ≡ xו־ µ0הוא הפילוג של .X0 הערה 6.20במילים אחרות ניתן לראות ש־ ) h (Xnהוא מרטינגל )לכל תנאי התחלה(: ] P (Xn+1 = y|X1 = x1 , ..., Xn = xn ) h (y) = E [h (Xn+1 ) | X1 = x1 , ..., Xn = xn X = )P (Xn , y) h (y y∈S X = ) h (Xn y∈S כאשר זוהי התוחלת המותנית על סמך תכונת מרקוב של השרשרת: משפט 6.21פונקציה הרמונית על שרשרת מרקוב סופית ואי פריקה היא קבועה: תהא ) (S, Pשרשרת מרקוב אי־פריקה עם מרחב מצבים סופי ותהא h : S → Rפונקציה הרמונית על Pאזי hקבועה. הוכחה :יהא Mהמקסימום של hונניח כי h (x) = Mעבור x ∈ Sכלשהו .כעת ניתן לראות כי: X X X = )M = h (x ≤ )P (x, y) h (y P (x, y) · M = M P (x, y) = M y∈S y∈S y∈S בפרט שוויון מתקיים רק אם לכל yכך ש־ P (x, y) > 0מתקיים h (y) = Mולכן מאי־פריקות h (y) = Mלכל ) y ∈ Sיש צורך להשתמש בטיעון אינדוקטיבי כדי להגיע למסקנה הסופית(. מסקנה 6.22שרשרת מרקוב אי־פריקה עם מרחב מצבים סופי היא בעלת התפלגות סטציונרית יחידה: לשרשרת מרקוב ) (S, Pאי־פריקה ובעלת מרחב מצבים סופי קיימת התפלגות סטציונרית יחידה. הוכחה :נתבונן במרחב הוקטורים העצמיים הימניים עם ערך עצמי 1שהוא בדיוק מרחב הפונקציות ההרמונית } ,{h | h = P hהראינו במשפט הקודם שהמרחב הנ"ל הוא חד־ממדי שכן כל הפונקציות ההרמוניות הללו הן קבועות .לכן גם המרחב של הוקטורים העצמיים השמאליים עם ערך עצמי 1הוא חד ממדי והמרחב הנ"ל } {π | π = πPהוא בדיוק מרחב המידות הסטציונריות המסומנות .מאחר שהראינו כבר קיום של התפלגות סטציונרית עבור שרשרת מרקוב סופית נסיק שמידת ההסתברות הזו היא יחידה )שכן כפל שלה בקבוע לא יהיה מידת הסתברות(. 50 6 6.1 שרשראות מרקוב: מחזוריות והתכנסות לסטציונריות: מסקנה 6.23 במקרה של מהלך מקרי פשוט על גרף לא מכוון וסופי Gאי־פריקות של השרשרת שקולה לקשירות של Gעצמו ולכן על סמך המסקנה אגב :על גרף לא מכוון סופי וקשיר יש התפלגות סטציונרית יחידה. הערות פשוט מהלך מקרי הקודמת לכל 6.24שתי הערה • באופן כללי עבור שרשרת מרוקב סופית התפלגות סטציונרית יחידה לא גוררת אי־פריקות של השרשרת ואפשר להביא דוגמה פשוטה עם שרשרת בעלת גרף מעברים עם שני קודקודים בלבד. • אפשר להראות שלשרשרת מרקוב סופית יש התפלגות סטציונרית יחידה רק אם בגרף רכיבי הקשירות החזקים של גרף המעברים של השרשרת יש רק עלה יחיד )עבור כל עלה קיימת התפלגות סטציונרית על רכיב הקשירות שמתאים לו וכל צירוף קמור של התפלגויות הללו מגדיר התפלגות סטציונרית על השרשרת כולה ־ כל מה שהוא לא עלה יהיה בגבול אפס(. 6.1 מחזוריות והתכנסות לסטציונריות: הגדרה 6.25בהנתן שרשרת מרקוב ) (S, Pו־ x ∈ Sנסמן: }Ax = {n ≥ 0 | P n (x, x) > 0 נגדיר ) ax = gcd (Axהנ"ל מכונה המחזור של .x טענה 6.26 תרגיל בתורת המספרים :אם A ⊆ Nסגורה לחיבור אז ∞ < |).|A4 (gcd (A) N למה 6.27בשרשרת מרקוב אי־פריקה כל המחזורים שווים: אם ) (S, Pהיא שרשרת מרקוב אי־פריקה אז כל המחזורים שווים ) ax = ayלכל .(x, y ∈ S הוכחה :בהנתן x, y ∈ Sמאי־פריקות קיימים m, lכך ש־ P m (x, y) > 0ו־ .P l (y, x) > 0מכך נקבל כי Ay + m + l ⊆ Ax ולכן על סמך טענה 6.26מקבלים כי ) .gcd (Ax ) ≤ gcd (Ayמטעמי סימטריה מתקיים גם השוויון ההפוך ולכן מתקיימת המסקנה הנדרשת. הגדרה 6.28שרשרת מרקוב לא מחזורית: שרשרת מרקוב ) (S, Pתקרא לא־מחזורית אם ax = 1לכל .x ∈ S תרגיל :מהלך מקרי פשוט על גרף לא מכוון הוא מחזורי אמ"מ הגרף הוא דו־צדדי. טענה 6.29תכונה של שרשרת מרקוב אי־פריקה ולא מחזורית: תהא ) (S, Pשרשרת מרקוב אי־פריקה סופית ולא־מחזורית אזי קיים r > 0כך שלכל x, y ∈ Sמתקיים .P r (x, y) > 0 הוכחה :מאי־מחזוריות לכל x ∈ Sמתקיים gcd (Ax ) = ax = 1ולכן טענה .|N\Ax | < ∞ 6.26כעת בהנתן x, y ∈ Sנתבונן ב: }Axy = {n ≥ 0 | P n (x, y) > 0 מאי־פריקות קיים m ∈ Axyולכן m + Ax ⊆ Axyומכך ∞ < | |N\Axyובפרט נוכל לקחת את Axy T .r = max x,y הערה 6.30הקשר המשמעותי בין מחזוריות והתכנסות לסטציונריות הוא שלא תתכן התכנסות לסטציונריות כאשר יש מחזוריות שכן אם למשל יש מחזור 3ב־ x ∈ Sאז ידוע לנו שבכל הזמנים שלא מתחלקים ב־ 3לא נוכל להגיע ל־ .xאולם ראינו שבמקרה של ∞→n אי־פריקות אם קיימת התפלגות הסטציונרית היא נותנת הסתברות חיובית לכל המעברים האפשריים ולא ייתכן ש־ µ0 P n −→ π כאשר πi > 0לכל iאם (pn )ii = 0לכל nשמתחלק ב־ .3המשפט הבא מפרמל את הקשר הנ"ל. משפט 6.31עבור שרשרת מרקוב סופית ,אי־פריקה ולא מחזורית קיימת התכנסות להתפלגות סטציונרית: ∞→n תהא ) (S, Pשרשרת מרקוב אי־פריקה ולא מחזורית עם Sסופית .אזי קיים התפלגות πכך שלכל התפלגות µמתקיים .µP n −→ π ליתר דיוק קיים 0 < α < 1כך שלכל µ0מתקיים .kµP n − πkL1 ≤ 2αn 51 6.1 6 מחזוריות והתכנסות לסטציונריות: שרשראות מרקוב: הוכחה :על סמך טענות קודמות ידוע לנו כבר שקיימת התפלגות סטציונרית יחידה על ) (S, Pשנסמנה .πעל סמך טענה 6.29קיים r > 0כך שלכל x, y ∈ Sמתקיים P r (x, y) > 0ונניח ראשית ש־ .r = 1מאחר ש־ Sסופית קיים β > 0כך שלכל x, y ∈ S מתקייים ) .P (x, y) ≥ βπ (yכעת לכל xניתן להציג את ) P (x, yבצורה: )·( P (x, ·) = βπ (·) + ανx כאשר α = 1 − βו־ νxהיא התפלגות על .Sכנ"ל לכל µניתן לרשום µP = βπ + ανµכאשר νµהיא גם כן התפלגות על .S נתחיל ב־ µ0ונקבל ש: µ1 = µ0 P = βπ + αν1 כאשר .ν1 = νπ0נמשיך ונקבל: µ2 = µ1 P = (βπ + αν1 ) P = βπP + αν1 P = βπ + αν1 P כעת ניתן לפרק באופן דומה את ν1 Pולקבל ν1 P = βπ + αν2ולכן נקבל: µ2 = βπ + α (βπ + αν2 ) = (β + αβ) π + α2 ν2 = 1 − α2 π + α2 ν2 נמשיך באופן הנ"ל ונקבל כי: µ3 = µ2 P = 1 − α2 π + α2 ν2 P = 1 − α3 π + α3 ν3 ובאינדוקציה: νn−1 P − βπ α = νn ; µn = (1 − αn ) π + αn νn מכך נקבל כי: kµn − πkL1 = k(1 − αn ) π + αn νn − πkL1 = k−αn π + αn νn kL1 = αn kνn − πkL1 ≤ 2αn כאשר kνn − πkL1שכן νn , πהן מידות הסתברות .במקרה בו r 6= 1נתבונן בשרשרת ) (S, P rשהינה גם שרשרת אי־פריקה ∞→n ולא־מחזורית ונקבל על סמך מה שהוכחנו ש־ ) µP rn −→ πעבור אותה πשכן πסטציונרית ביחס ל־ P rויש יחידות( .באותו ∞→n אופן לכל 0 ≤ k < rנקבל ש µP rn+k −→ πבמובן שבו: 0 rn+k rn+k µP − π L1 ≤ 2αn = 2 α 0 ∞→n עבור 0 < α < 1ולכן ,µP n −→ πכנדרש. הגדרה 6.32בהנתן שתי מידות הסתברות µ, νעל קבוצה סופית Sנוכל להתבונן ב־ Total Variation Distanceהמוגדר ע"י: |)dT V (µ, ν) = max |µ (A) − ν (A A⊆S אפשר להראות כי kµ − vkL1 1 2 = ) dT V (µ, νבאמצעות התבוננות ב־ }).A = {x | µ (x) > ν (x על סמך ההגדרה הזו אפשר לראות שנהיה יותר ויותר קשה להבחין בין המידות µP nוהמידה הסטציונרית .π הערה 6.33מאחר ש־ Sהיא קבוצה סופית התכנסות של ההתפלגויות היא למעשה התכנסות של סדרות וקטורים ב־ RSומבחינה טופולוגית לא חשוב באיזה נורמה נבחר שכן המרחב הוא סוף ממדי. 52 6.2 6.2 6 נשנות של שרשראות מרקוב: שרשראות מרקוב: נשנות של שרשראות מרקוב: הגדרה 6.34מצב נשנה בשרשרת מרקוב: בהנתן שרשרת מרקוב ) (S, Pמצב s ∈ Sיקרא נשנה אם Ps (Ts+ < ∞) = 1כאשר: }Ts+ = min {n ≥ 1 | Xn = s הערה 6.35משמעות הסימון Psהוא שהשרשרת מתחילה ב־ .(X0 = s) s הערה 6.36מצב שאיננו נשנה מכונה מצב חולף .כמו כן מאופן ההגדרה ברור שמצב נשנה הוא מצב שבו נבקר אינסוף פעמים ומצב חולף הוא מצב שבו נבקר רק מספר סופי של פעמים. תרגיל :בשרשרת מרקוב אי־פריקה כל המצבים נשנים או חולפים ביחד .מעבר לכך לכל x, y ∈ Sמתקיים: Px Ty+ < ∞ = 1 כלומר ההסתברות להגיע ל־ yבהנתן שהתחלנו ב־ xבזמן סופי היא 1לכל .x, y ∈ S משפט 6.37אפיון של המצבים בשרשרת מרקוב אי־פריקה: בהנתן ) (S, Pשרשרת מרקוב אי־פריקה לכל s ∈ Sמתקיים: −1 ∞ = Es (#visits to s) = Ps Ts+ הוכחה :המשפט הוא תוצאה של כך שמספר הביקורים ב־ s ∈ Sהוא גיאומטרי עם פרמטר )∞ = ) Ps (Ts+כאשר הצלחה משמעותה שלא חזרנו ל־ sיותר( .זוהי תוצאה של תכונת מרקוב החזקה לפיה אם Tהוא זמן עצירה אז Yk = XT +kהיא שרשרת מרקוב עם אותן הסתברויות מעבר ,כלומר: )P ((XT , XT +1 , ..., XT +k ) ∈ A | X1 , ..., XT ) = Pµ ((X0 , ..., Xk ) ∈ A כאשר µהיא ההתפלגות של .XT דוגמה 6.38נתבונן במהלך מקרי פשוט על ,Zראינו כבר משיקולים של מרטינגלים שזוהי שרשרת מרקוב נשנית וזוהי כמובן גם שרשרת אי־פריקה .נשים לב כי: )P0 (Xn = 0 ∞ X = }1{Xn =0 n=0 ∞ X = )E0 (#visits to 0 n=0 מאחר שזוהי שרשרת עם מחזור 2לא ניתן לחזור ל־ 0בזמנים אי־זוגיים ולכן נקבל: ∞ ∞ X X 2n −2n = )E0 (#visits to 0 = )P0 (X2n = 0 2 n n=1 n=1 2n −2n √ ∞ √ ∞ ∞ X X 4πn 2n 2 4πn X 1 e √ ≈ = = ∞= √ n 2 2πn πn 2πn ne n=1 n=1 n=1 בכך קיבלנו הוכחה נוספת לכך שזוהי שרשרת מרקוב נשנית. דוגמה 6.39נתבונן במהלך מקרי פשוט על .Z2אם ציר Xו־ Yהיו בלתי־תלויים אז על סמך הדוגמה הקודמת היינו מקבלים ש: 1 1 1 √ ≈ )P0 (X2n = 0 √· = πn πn πn 53 6.2 6 נשנות של שרשראות מרקוב: שרשראות מרקוב: מכך היינו מסיקים ש־ ∞ = ) E0 (#visits to 0ולכן השרשרת נשנית .נתבונן בתהליך אחר Ynשבו בכל שלב תמיד עושים צעד אחד בציר ה־ Xוצעד אחד בציר ה־ ,Yבתהליך הנ"ל נקבל שזזים על האלכסונים בגריד של Z2ולמעשה מתקבל שיקוף ב־ 45מעלות של הגריד Z2אולם בגריד הנ"ל ציר ה־ Xוציר ה־ Yכן בלתי־תלויים ולכן ההסתברות שנגיע לקודקוד מסוים שווה למכפלת ההסתברויות 1 1 P0 (X2n = 0) ≈ πn . P (Y2n = 0) = πnמאחר שכיוון הגריד לא משנה נסיק שגם מתקיים שנגיע לשיעורי ה־ X, Yשלו ובפרט ולכן אפס הוא מצב נשנה של השרשרת המקורית. דוגמה 6.40באופן כללי יותר במהלך מקרי פשוט על Zdאפשר להראות שכאשר מבצעים nצעדים מספר הצעדים בכל ציר מרוכז n סביב ndוהסיכוי לעשות פחות מ־ 2dצעדים בציר מסוים קטן אקספוננציאלית ב־ .nבפרט עבור d = 3בהנתן שעשינו 2n1צעדים בציר ה־ 2n2 ,Xצעדים בציר ה־ Yו־ 2n3צעדים בציר ה־ ) Zשזהו המקרה הסביר( נקבל כי: C 2n1 2n2 2n3 1 ≤ 3 √ · 2−2(n1 +n2 +n3 ) ≈ 3 n1 n2 n3 π 2 n1 n2 n3 n2 לכן נקבל כי: ∞< ∞ X C 3 n2 ≤ )=⇒ E0 (#visits to 0 n=1 C 3 2 n ≤ )P (X2n = 0 לכן נסיק שההילוך המקרי הפשוט על Zdעבור d ≥ 3הוא חולף. תזכורת 6.41בהנתן שרשרת מרקוב ) (S, Pפונקציה h : S → Rתקרא הרמונית אם h = P hאו לחילופין לכל :x ∈ S X = )h (x )P (x, y) h (y y∈S הגדרה 6.42תכונת ליוביל של שרשרת מרקוב: שרשרת מרקוב ) (S, Pתקרא ליוביל אם הפונקציות ההרמוניות החסומות היחידות הן הקבועות. הערה 6.43ראינו במשפט 6.21ששרשרת מרקוב סופית ואי־פריקה היא ליוביל. משפט 6.44שרשרת מרקוב אי־פריקה ונשנית היא ליוביל: אם ) (S, Pהיא שרשרת מרקוב אי־פריקה ונשנית אז היא ליוביל. הוכחה :נקבע ,x, y ∈ Sמההנחה שהשרשרת אי־פריקה ונשנית ידוע לנו על סמך תרגיל ש־ .Px Ty+ < ∞ = 1נתחיל שרשרת מרקוב ב־ ,X0 = xידוע לנו ש־ ) f (Xnהוא מרטינגל חסום .לכן מאחר ש־ Ty+הוא זמן עצירה סופי נקבל ממשפט OSTשמתקיים: h i )f (x) = f (X0 ) = E f XTy+ =E [f (y)] = f (y מסקנה 6.45 ראינו כבר שמהלך מקרי פשוט על Zו־ Z2הוא נשנה ואי־פריק ולכן הן ליוביל .מאידך ראינו שמהלך מקרי פשוט על Zdעבור d ≥ 3 איננו נשנה אולם מתברר שהוא עדיין ליוביל )הוכחה קשה(. תרגיל :אם ) (S, Pהיא שרשרת מרקוב אי־פריקה ונשנית אז לא קיימות פונקציות הרמוניות חיוביות ולא קבועות על .S הערה 6.46הטענה הזו נכונה גם עבור Zdלכל dגם כאשר השרשרת לא נשנית אבל ההוכחה לא פשוטה. 54 7 7 7.1 משפט הגבול המרכזי: משפט הגבול המרכזי: התכנסות חלשה: תזכורת 7.1בהנתן סדרת מ"מ ) Xn ∼ Fnכלומר Fnהיא ה־ CDFשל (Xnנאמר ש־ Xnמתכנסת בהתפלגות למ"מ X ∼ Fונסמן ∞→n D D Xn −→ Xאו Fn −→ Fאם ) Fn (t) −→ F (tבכל tשהיא נקודת רציפות של .F הגדרה 7.2התכנסות חלשה: W נאמר שסדרת מידות ) µnהמוגדרות באותו מרחב( מתכנסת חלש למידה µונסמן µn −→ µאם לכל ] h : R → [0, 1רציפה חסומה: X∼µ ∞→n ; ])E [h (Xn )] −→ E [h (X Xn ∼ µn כאשר משמעות הסימון Xn ∼ µnהיא ש־ Xnהוא מ"מ כך שלכל A ∈ Fמתקיים ).P (Xn ∈ A) = µn (A W W הערה 7.3סימון :אם Xn ∼ µnו־ Xn ∼ µו־ µn −→ µאז נסמן גם .Xn −→ X הערה 7.4עבור מ"מ ממשי X ∼ Fישנה מידת הסתברות ] µ : R → [0, 1המוגדרת ע"י ) µ ((−∞, x]) = F (xוהרחבה על סמך משפט קרטיאודורי .לחילופין כל מידת הסתברות ] µ : B (R) → [0, 1מגדירה משתנה מקרי ממשי עם התפלגות מצטברת הנתונה על ידי )]) F (x) = µ ((−∞, xתמיד אפשר למצוא מרחב הסתברות מתאים ככה שמוגדר משתנה מקרי כנ"ל(. משפט 7.5התכנסות חלשה שקולה להתכנסות בהתפלגות: W D תהא Xn ∼ Fnסדרת מ"מ אזי Xn −→ X ∼ Fאמ"מ .Xn −→ X ∞→n W הוכחה ⇐= :נניח כי µn −→ µויהיו X ∼ µ ,Xn ∼ µnו־ xנקודת רציפות של ,Fנראה כי ) .Fn (x) −→ F (xנתבונן בפונקציה: y≤x 1 y−x hδ (y) = 1 − δ x<y <x+δ 0 y ≥x+δ עבור δ > 0כלשהו .זוהי פונקציה רציפה וחסומה ולכן מהתכנסות חלשה נקבל כי: ∞→n )Fn (x) = E 1{Xn ≤x} ≤ E [hδ (Xn )] −→ E [hδ (X)] ≤ E 1{X≤x+δ} = F (x + δ מכך מרציפות מימין של Fומכך שהנ"ל נכון לכל δ > 0נסיק כי: δ→0 )lim sup Fn (x) ≤ F (x + δ) −→ F (x ∞→n מאידך נתבונן בפונקציה: y ≤x−δ x−δ <y <x y≥x )y−(x−δ δ 1 gδ (y) = 1 − 0 מרציפות של Fב־ xושיקולים דומים לכיוון השני נקבל כי: ∞→n )Fn (x) ≥ E [gδ (Xn )] −→ E [gδ (X)] ≥ F (x − δ δ→0 )=⇒ lim inf Fn (x) ≥ F (x − δ) −→ F (x ∞→n לכן קיבלנו את הנדרש: )lim inf Fn (x) = F (x) = lim sup Fn (x) =⇒ lim Fn (x) = F (x ∞→n ∞→n 55 ∞→n 7 7.1 משפט הגבול המרכזי: התכנסות חלשה: a.s D ⇒= נניח ש־ ,Fn −→ Fנראה שקיימים מ"מ Xn , Xכך ש־ X ∼ F ,Xn ∼ Fnובנוסף .Xn −→ Xנגדיר: ]X + (w) = inf {z ∈ R | F (z) > w} , w ∈ [0, 1 ]Xn+ (w) = inf {z ∈ R | Fn (z) > w} , w ∈ [0, 1 אלו הן ה־ Psuedo-Inverseשל Fו־ Fnבהתאמה .נקבע ] w ∈ [0, 1ונשים לב שעבור zכלשהו מתקיים ) z > X + (wאמ"מ ∞→n .F (z) < wכעת אם zהיא לא אטום )נקודת רציפות( של Fאז מההנחה ) Fn (z) −→ F (zולכן עבור nמספיק גדול )w < Fn (z )כאשר מסתמכים על כך ש־ Fnהן פונקציות עולות חלש( ומכך . Xn+ (w) ≤ zמאחר שיש לכל היותר מספר בן־מנייה של אטומים של Fאפשר לבחור סדרה ) zk & X + (wשכולם לא אטומים ולקבל כי: )lim sup Xn+ (w) ≤ zk & X −1 (w ∞→n מאידך נוכל להגדיר: ]X − (w) = inf {z ∈ R | F (z) ≥ w} , w ∈ [0, 1 ]Xn− (w) = inf {z ∈ R | Fn (z) ≥ w} , w ∈ [0, 1 באמצעות שיקולים דומים נקבל כי: )lim inf Xn− (w) ≥ X − (w ∞→n אולם נשים לב ש־ ) Xn+ (w) = Xn− (wפרט למספר בן־מנייה של נקודות שכן עבור כל wכנ"ל יש קטע ]) [Xn− (w) , Xn+ (wשבו a.s a.s Fnשקבועה והקטעים האלו הם זרים .לכן Xn+ = Xn−ומכך .Xn+ −→ Xכעת בהנתן Xn ∼ Fnו־ X ∼ Fכנ"ל ופונקציה רציפה a.s ] h : R → [0, 1מרציפות נקבל כי ) h (Xn ) −→ h (Xומכך ש־ hחסומה נקבל ממשפט ההתכנסות החסומה ש: ∞→n ])E [h (Xn )] −→ E [h (X הערה 7.6אם נתבונן ב־ ]∞ R = [−∞,ונתבונן במרחב C Rשל פונקציות רציפות )ולכן חסומות( משפט ריס אומר לנו שהמרחב הדואלי הוא מרחב המידות הסופיות המסומנות על .Rמידות הסתברות הן תת־קבוצה סגורה של כדור היחידה במרב הזה ולכן משפט´ בנך־אלאוגולו´ אומר שזוהי קבוצה קומפקטית ביחס לטופולוגיה החלשה־* שהיא הטופולוגיה שבה התכנסות נתונה על ידי ∞→n hdµn −→ hdµלכל .h ∈ C R למה 7.7הלמה של :Helly-Bray ∞ תהא {Fn }n=1סדרה של CDFאז קיימת ת"ס nkופונקציה עולה חלש ורציפה מימין Fכך שלכל xשהיא נקודת רציפות של F ∞→k מתקיים ).Fnk (x) −→ F (x ∞ הוכחה :נקבע מנייה של הרציונליים {ri }i=1ונקח תת־סדרה n1kשעבורה ) Fn1k (r1מתכנס ואז בטיעון אלכסון סטנדרטי תת־סדרה n2k ⊆ n1kשעבורה ) Fn2k (r2מתכנס .לבסוף נקח את האלכסון nk := nkkועבורו נגדיר לכל r ∈ Qפונקציה Gעל ידי: )G (r) = lim Fnk (r ∞→k זוהי פונקציה עולה חלש כגבול של פונקציות עולות חלש .נגדיר: }F (x) = inf {G (r) | r > x, r ∈ Q 56 7 7.2 משפט הגבול המרכזי: משפט הגבול המרכזי: זוהי פונקציה עולה חלש ורציפה מימין .נניח ש־ xהיא נקודת רציפות של ,Fמכך לכל ε > 0קיימים r1 < x < r2רציונליים כך ש־ .|F (r1 ) − F (r2 )| < εמהגדרת Fקיימים r3 < x < r4רציונליים כך ש־ |G (r3 ) − G (r4 )| < 2εומכך מהגדרת Gנקבל: lim Fn (r3 ) − lim Fn (rr ) < 2ε k k ∞→k ∞→k מכך נסיק כי: lim sup Fn (x) − lim inf Fn (x) < 2ε k k ∞→k ∞→k ∞→k מאחר והנ"ך נכון לכל ε > 0נקבל כי הגבולות שווים ולכן ).Fnk (x) −→ F (x הגדרה 7.8סדרת הדוקה של פונקציות :CDF ∞ סדרת פונקציות {Fn }n=1 CDFתקרא הדוקה אם לכל ε > 0קיים Kכך שלכל nמתקיים: Fn (k) − Fn (−K) = µ ([−K, K]) ≥ 1 − ε מסקנה 7.9מסקנה מהלמה של ) Helly-Brayללא הוכחה(: D ∞ אם {Fn }n=1היא סדרה הדוקה של פונקציות CDFאז קיימת F CDFותת־סדרה nkכך ש־ .Fnk −→ Fמאידך אם קיימת ת"ס D ∞ Fnkכך ש־ Fnk −→ Fאז {Fn }n=1היא הדוקה. 7.2 משפט הגבול המרכזי: משפט 7.10משפט הגבול המרכזי: i.i.d בהנתן סדרת משתנים מקריים Xn ∼ Fעם E [Xn ] = 0ו־ E Xn2 = 1אזי: ! n 1 X D √ L )Xi −→ N (0, 1 n i=1 הנחה נוספת שקיים מומנט שלישי סופי מתקבל הערה 7.11המשפט הנ"ל לא נותן לנו אינפורמציה על קצב ההתכנסות .בתוספת iשל h 3 משפט Berry-Esseenלפיו בתנאים של המשפט הקודם אם בנוסף ∞ < E |Xn | = M3אז קיים C ∈ Rכך ש: CM3 √ ≤ |)∀ n ∈ N : |Fn (x) − F (x n כאשר Fהיא ה־ CDFשל מ"מ ).N (0, 1 7.2.1קצת הקדמה להוכחה: tX ) ϕX (t) = E eאם יש התכנסות( ובפרט: נזכיר את הפונקציה יוצרת מומנטים של מ"מ Xהנתונה ע"י • כאשר X, Yב"ת מתקבל ש־ ). ϕX+Y (t) = ϕX (t) · ϕY (t • לכל a, b ∈ Rמתקיים ).ϕaX+b (t) = etb ϕx (at 57 7.2 7 משפט הגבול המרכזי: משפט הגבול המרכזי: i.i.d נניח ש־ Xn ∼ Fעם תוחלת 0ושונות ,1במקרה שישנה התכנסות נקבל כי: t2 X 2 t2 t2 ϕX1 (t) = E etX = E 1 + tX + + ... = 1 + tE [X] + E X 2 + ... = 1 + + o t2 2 2 2 Pn מכך נקבל כי עבור Sn = i=1 Xiמתקיים: n n n→∞ t2 t t2 2 √ = ϕX1 = 1+ +o t −→ e 2 2 n t √ n Sn (t) = ϕS √ϕ n n t2 כאשר ידוע ש־ e 2היא הפונקציה יוצרת מומנטים של מ"מ ) .N (0, 1שתי שאלות שראוי לשאול הן: .1האם התכנסות של פונקציות יוצרות מומנטים גוררת התכנסות בהתפלגות? .2האם שוויון של כל המומנטים של שתי התפלגויות גורר שוויון של ההתפלגויות? כמה עובדות: • במידה והיא קיימת הפונקציה היוצרת מומנטים כן קובעת את ההתפלגות של משתנה מקרי. • קיימות התפלגויות שיש להן מומנטים מכל סדר אבל הפונקציה יוצרת מומנטים לא מוגדרת לכל ) t 6= 0תרגיל(. • באופן כללי המומנטים של ההתפלגות לא קובעים את ההתפלגויות )קיימים מ"מ עם התפלגויות שונות ומומנטים זהים(. • עבור מ"מ חסום המומנטים כן קובעים את ההתפלגות של ) Xרמז ־ להשתמש במשפט ויירשטראס על צפיפות הפולינומים(. 7.2.2 פונקציות אופייניות: הגדרה 7.12פונקציה אופיינית ) :(Characteristic Function עבור מ"מ Xהפונקציה האופיינית שלו ϕ : R → Cמוגדרת ע"י .ϕX (t) = E eitXכמה תכונות שלה הן: .1מתקיים |ϕX (t)| ≤ 1לכל tובפרט הנ"ל מוגדרת היטב תמיד עבור כל מ"מ. .2עבור X, Yב"ת מתקיים ).ϕX+Y (t) = ϕX (t) · ϕY (t .3לכל aמתקיים ) ϕaX+b (t) = eitb ϕX (atובפרט ).ϕ−X (t) = ϕX (−t) = ϕX (t ϕX .4רציפה במ"ש בכל .R ϕX .5היא פונקציה ממשית אמ"מ Xהוא מ"מ סימטרי )) P (X > x) = P (X < −xלכל .(x תרגיל :הוכח שלא קיימים מ"מ X, Yב"ת כך ש־ ].X − Y ∼ U [−1, 1 58 7.2 7 משפט הגבול המרכזי: משפט הגבול המרכזי: הערה 7.13עבור פונקציה f : R → Rטרנספורם פורייה שלה נתון ע"י: ∞ˆ = )fˆ (t f (x) eitx dx ∞− אם Fהיא ה־ CDFשל מ"מ Xאז באינטגרציית לבג־סטליג'ס מתקבל ש: ∞ˆ eitx dF = )ϕX (t ∞− אם יש ל־ Xיש צפיפות f = dFאז הפונקציה האופיינית היא ממש טרנספורם פורייה של הצפיפות: ∞ˆ f (x) eitx dx = )ϕX (t ∞− דוגמה 7.14כמה דוגמאות: .1עבור מ"מ X = ±1עם הסתברות 1 2 נקבל כי: eit + e−it = cos t 2 = )ϕX (t .2עבור מ"מ ) X ∼ exp (1עם צפיפות } f (x) = e−x 1{x≥0נקבל כי: ∞ˆ ∞ˆ )ex(it−1 1 −x itx = ϕX (t) = e e dx = it − 1 1 − it 0 0 .3עבור מ"מ אקספוננציאלי כפול המוגדר ע"י: 1 1 )Y1 Z − Y2 (1 − Z 2 2 כאשר Z = 0, 1עם הסתברות 1 2 =X ו־ ) Y1 , Y2 ∼ exp (1ב"ת מתקבלת צפיפות | f (x) = 21 e−|xומקבלים כי: 1 1 1 1 = )ϕX (t + = 2 1 − it 1 + it 1 + t2 .4עבור מ"מ נורמלי ) X ∼ N (0, 1נקבל כי: t2 1 (x−it)2 √ e 2 dx = e− 2 2π {z } ∞ˆ ∞− x2 t2 1 √ e− 2 eitx dx = e− 2 2π ∞ˆ ∞− | =1 כאשר האינטגרל המסומן שווה ל־ 1משיקולים של פונקציות מרוכבות. הערה 7.15ניתן לראות בפרט כי הצפיפות של התפלגות נורמלית מהווה עד כדי נרמול נקודת שבת של טרנספורם פורייה. 59 7.2 7.2.3 7 משפט הגבול המרכזי: משפט הגבול המרכזי: התכנסות של פונקציות אופייניות: טענה 7.16 יהא X ∼ µמ"מ ) µמידת הסתברות על (Rאזי לכל a ∈ Rמתקיים: ˆT e−ita ϕX (t) dt 1 T →∞ 2T µ ({a}) = lim −T הוכחה :על סמך משפט פוביני נקבל כי: ˆT ∞ˆ −ita eitX dµ (x) dt ˆT 1 2T )eit(X−a) dt dµ (x −T 1 ϕX (t) dt = lim ∞→ T 2T e ∞− ˆT −ita e −T 1 lim T →∞ 2T −T ∞ˆ ˆT e−ita eitX dt dµ (x) = lim ∞→ T ∞− 1 2T −T ∞ˆ = lim ∞→ T ∞− ממשפט ההתכנסות החסומה ניתן להכניס את הגבול לתוך האינטגרל החיצוני )התוחלת( שכן eit(X−a) dt ˆT lim 1 T →∞ 2T )eit(X−a) dt dtdµ (x ∞ˆ ˆT = )eit(X−a) dt dµ (x ∞− −T 1 2T −T ´T −T 1 2T חסומה ומכך: ∞ˆ lim ∞→ T ∞− נשים לב כי: ˆT eit(X−a) dt |X=a ≡ 1 1 2T −T מאידך אם X 6= aנקבל משיקולי מחזוריות וחסימות של הפונקציה מתחת לאינטגרל שמתקיים: bounded and periodic z |} { ˆT 1 lim eit(X−a) dt =0 T →∞ 2T −T לכן סה"כ נקבל כי: ∞ˆ )}1{X=a} (x) dµ (x) = Eµ 1{X=a} (x) = µ ({a ˆT = dt dtdµ )it(X−a e ∞− −T משפט 7.17נוסחת ההיפוך של לוי: בהנתן מ"מ X ∼ µו־ a < b ∈ Rמתקיים: e−ita − eitb 1 )}ϕX (t) dt = µ ((a, b)) + µ ({a, b it 2 ˆT 1 lim ∞→ 2π T −T 60 lim 1 T →∞ 2T ∞ˆ ∞− :משפט הגבול המרכזי 7 :משפט הגבול המרכזי 7.2 : ראשית נשים לב כי:הוכחה b ˆ −ity e−ita − e−itb dy = b−a≥ e it a :משיקולים דומים להוכחה הקודמת באמצעות משפט פוביני וחסימות נקבל כי 1 lim 2π T →∞ ˆT e −ita −itb −e it −T ˆ∞ ˆT −ita −itb −e 1 itX e ϕX (t) dt = lim e dt dµ (x) 2π T →∞ it −∞ −T {z } | =IT (x) 1 1 = lim Eµ (IT (x)) = Eµ lim IT (x) T →∞ 2π T →∞ 2π :כעת נשים לב כי ˆT IT (x) = e−ita − e−itb itX e dt = it −T ˆT = ˆT e−it(X−a) − e−it(X−b) dt it −T sin (t (X − a)) − sin (t (X − b)) dt = 2 (S (T (X − a)) − S (T (X − b))) t −T s→±∞ : ומכך נובע כיS (0) = 0 ו־S (s) −→ ± π2 היא פונקציה המקיימתS (T ) = ´T 0 sin t t dt כאשר : אזa < b < X • אם π π T →∞ IT (x) = 2 (S (T (X − a)) − S (T (X − b))) −→ 2 − =0 2 2 : אזX < a < b • אם π π T →∞ =0 IT (x) = 2 (S (T (X − a)) − S (T (X − b))) −→ 2 − − − 2 2 : אזa < X < b • אם π π T →∞ IT (x) = 2 (S (T (X − a)) − S (T (X − b))) −→ 2 − − = 2π 2 2 : אזX = a, b • אם T →∞ IT (x) = 2 (S (T (X − a)) − S (T (X − b))) −→ π 61 7.2 7 משפט הגבול המרכזי: מכך סה"כ נקבל כי: 1 1 = )Eµ lim IT (x )Eµ 2π1{X∈(a,b)} (x) + π1{X=a,b} (x ∞→ T 2π 2π 1 1 = )}[2πµ ((a, b)) + πµ (a, b)] = µ ((a, b)) + µ ({a, b 2π 2 הערה 7.18הפונקציה ) S (Tידועה בתור אינטגרל דירכלה. 62 משפט הגבול המרכזי: 7 7.2 משפט הגבול המרכזי: מסקנה 7.19 אם בתנאים של המשפט הקודם מתקיים ∞ < |ϕX (t)| dt שלכל a, bשהם לא אטומים של Xמתקיים: e−ita − eitb ϕX (t) dt it {z } | ≥b−a ∞ˆ ∞´ ∞− משפט הגבול המרכזי: )כלומר ϕאינטגרבילית לבג( אז אפשר ישירות לקחת ∞ → Tולקבל 1 = ))FX (b) − FX (a) = µ ((a, b]) = µ ((a, b 2π ∞− על סמך כך לכל x0ניתן לבחור a < x0 < bולקבל שכאשר a → x0 ← bהאינטגרל שואף לאפס ולכן x0הוא לא אטום .כמו כן: ∞ˆ e−ita ϕX (t) dt e−ita − eitb b→a 1 →ϕX (t) dt − )it (b − a 2π ∞− ∞ˆ )FX (b) − FX (a 1 = b−a 2π ∞− בפרט מקבלים ש־ ,Fכלומר יש צפיפות הנתונה על ידי: ∞ˆ e−ita ϕX (t) dt 1 )FX (b) − FX (a = F (a) = lim b→a b−a 2π 0 ∞− 1 ) f (x) = π(1+xמ"מ מפולג קושי( מתקיים | ϕX (t) = e−|tאולם ל־ Xאין תוחלת .כמו כן אם תרגיל: עבור Xבעל צפיפות ) 2 P i.i.d n X1 , ..., Xn ∼ Cauchyאז . n1 i=1 Xi ∼ Cauchy משפט 7.20משפט הרציפות של לוי: בהנתן Fnסדרה הדוקה של פונקציות CDFנסמן ב־ ϕnאת סדרת הפונקציות האופייניות המתאימות להן ) eitx dFn D ∞→t ∞´ ∞− = ).(ϕn (t W נניח כי ) ,ϕn (t) −→ ϕ (tאזי קיימת פונקציית F CDFכך ש־ ) Fn −→ Fבאופן שקול (Fn −→ Fכאשר בפרט ) ϕFהפונקציה האופיינית המתאימה ל־ (Fהיא .ϕ D הוכחה :מההנחה כי הסדרה הדוקה על סמך מסקנה 7.9קיימת פונקציית F CDFותת־סדרה Fnkכך ש Fnk −→ Fולכן W .Fnk −→ Fמאחר שלכל tהפונקציה eitהיא פונקציה רציפה וחסומה נקבל מההתכנסות החלשה שמתקיים: n→∞ itX −→ E e )= ϕF (t ϕnk (t) = E eitXnk כאשר Xnk ∼ Fnkו־ X ∼ Fהם מ"מ עם ההתפלגויות המתאימות .מאחר שיש ת"ס של ϕnשמתכנס ל־ ϕFנסיק ש־ .ϕF = ϕ הערה 7.21הערות: .1הדרישה של הדיקות של הסדרה איננה הכרחית והמשפט נכון גם בלעדיה. .2המשפט הנ"ל מראה שהתכנסות נקודתית של פונקציות אופייניות גוררת התכנסות חלשה של פונקציות ההתפלגות. 7.2.4הוכחת משפט הגבול המרכזי: משפט 7.22משפט הגבול המרכזי: i.i.d בהנתן סדרת משתנים מקריים Xn ∼ Fעם E [Xn ] = 0ו־ E Xn2 = 1מתקיים ! n 1 X D √ L )Xi −→ N (0, 1 n i=1 63 8 תנועה בראונית: הוכחה :נשים לב כי על סמך תכונות של פונקציות אופייניות מתקיים: I.I.D n t {|}z = √ ϕX1 n בנוסף נעזר בעובדה שלכל x ∈ Rמתקיים: ! t √ n ) Sn (t) = ϕ(X +...+X √ϕ 1 n n 3 2 ix |e − 1 + ix − x ≤ min |x|2 , |x 2 6 בהנתן העובדה הזו עבור X ∼ Fאם נקח תוחלת על אי השוויון הנ"ל נקבל כי: ! 2 2 )(tX t itX = E e ϕX (t) − 1 − − 1 + itX − 2 2 " " !# !# 3 3 3 2 t→0 2 |2 |t| |X |2 |t| |X ≤ E min |t| |X| , = t E min |X| , −→ 0 6 6 3 2 2 | Y := min |X| , |t||Xהוא מ"מ החסום על ידי המשתנה המקרי האינטגרבילי | |Xוכמו כן לכל ωמתקיים כעת נשים לב כי 6 0 ∞→|t||X(ω)|3 t →− 6 ∞→t שכן .לכן Y −→ 0ומכך ממשפט ההתכנסות החסומה: " !# 3 t→0 |2 |t| |X E min |X| , −→ E [0] = 0 6 מכך נסיק כי + o t2 t2 2 ϕX (t) = 1 −ולכן: 2 n t t2 n→∞ − t2 +o )−→ e 2 = ϕN (0,1) (t = 1− 2n n n t √ n ϕX1 = )Sn (t √ϕ n בכך הראינו התכנסות של הפונקציות האופיינייות ולכן על סמך משפט הרציפות גם התכנסות חלשה כאשר הנ"ל נובע מכך שסדרת Sn Sn √ יש שונות השווה √ היא סדרה הדוקה על סמך א"ש צ'בישב והעובדה שלכל nלמשתנה המקרי פונקציות ההתפלגות של הסדרה n n ל־ .1 8 תנועה בראונית: הגדרה 8.1תנועת בראון: תנועת בראון היא תהליך סטוכסטי בזמן רציף {B (t)}t≥0המקיים את התנאים הבאים: .1לכל 0 ≤ s < tמתקיים ).B (t) − B (s) ∼ N (0, t − s .2לכל 0 ≤ t1 < t2 < ... < tkהמ"מ {B (ti+1 ) − B (ti )}1≤i≤k−1בלתי תלויים. .3הפונקציה ) t 7→ B (tהיא רציפה כ"ת )כלומר לכמעט כל ω ∈ Ωהפונקציה ) B (t) (ωרציפה כפונקציה של .(t הערה 8.2אם B (0) = 0אז נאמר שזוהי תנועת בראון סטנדרטית. הערה 8.3בשלב זה לא ברור שקיים בכלל תהליך כנ"ל וזה עיקר מה שנרצה להראות. נוכיח קיום של תנועת בראון: 64 8 תנועה בראונית: ∞ תהא {Xi }i=1סדרת מ"מ ב"ת מפולגים ) .N (0, 1נגדיר את Bעל קבוצת השברים הדיאדיים כך שראשית: 1 B (1) X2 B (0) = 0 , B (1) = X1 , B = + 2 2 2 על סמך תכונות של ההתפלגות הרב נורמלית נקבל שהמ"מ ) B 21 − B (0ו־ B (1) − B 12הם מ"מ ב"ת המפולגים N 0, 12 )כטרנספורמציה לינארית של הוקטור הרב־נורמלי ) .((X1 , X2נמשיך ונגדיר: B (0) + B 12 1 X3 B = √+ 4 2 8 1 B 2 + B (1) X4 3 B = √+ 4 2 8 מכך נקבל כי: 1 B 2 − B (0) X3 1 1 1 −B = − √ ∼ N 0, 2 4 2 4 8 1 −B (0) + B 2 1 X3 1 B = )− B (0 − √ ∼ N 0, 4 2 4 8 כאשר שוב משתמשים בכך שזוהי טרנפורמציה לינארית של הוקטור הרב־נורמלי . B 12 , X3כעת באופן כללי נגדיר: k B 2k−1 + B 2n−1 X n−1 2k − 1 n−1 + 2 n+1+k = B 2 2 2 2 B ∞ באופן זה הגדרנו את Bעל הרציונליים הדיאדיים בקטע ] [0, 1באמצעות הסדרה .{Xi }i=1נגדיר סדרת פונקציות: X2n +k x = 2k−1 2n 2 n+1 2 2k Fn (x) = 0 x = 2n piecewise linear otherwise זוהי סדרת פונקציות מקריות אשר כל אחת מהן היא רציפה בקטע ] [0, 1בהסתברות 1ובפרט לכל שבר דיאדי מתקיים: X n 2k + 1 2k + 1 B = F i 2n 2n i=0 בפרט אם הטור הנ"ל מתכנס במידה שוווה )בנורמת סופרמום( בהסתברות 1אז נקבל כי עבור כל שבר דיאדי מתקיים: def 2k + 1 {|}z = F 2n 2k + 1 2n Fi ∞ X = i=0 2k + 1 2n B מכך נסיק ש־ Fהיא פונקציה רציפה כגבול במ"ש של פונקציות רציפות והיא גם עבור השברים הדיאדיים בעלת יתר התכונות שרצינו מתנועת בראון .אם כן כדי להראות את ההתכנסות נשים לב כי: | |X2n +k max k=1,...,2n n+1 2 2 = ∞kFn k אם נסמן ב־ ) fX (xאת הצפיפות הנורמלית הסטנדרטית נקבל כי לכל C > 0מתקיים: ˆ−λ ∞ˆ C2 n fX (x) dx + fX (x) dx ≤ e− 2 ∞− λ 65 √ = P |Xi | > C n 8 תנועה בראונית: מכך באמצעות חסם איחוד נקבל כי: √ C2 n max n |X2n +k | > C n ≤ 2n e− 2 k=1,...,2 P הנ"ל דועך אקספוננציאלית ולכן: ∞< √ |X2n +k | > C n n ∞ X P max k=1,...,2 n=1 מכך מהלמה הראשונה של בורל קנטלי נסיק כי בהסתברות 1קיים Nכך שלכל n ≥ Nמתקיים: √ ∞→C n n kFn k∞ ≤ n+1 −→ 0 2 2 לכן מקריטריון ויישרטראס הטור מתכנס במ"ש ובפרט Fהיא פונקציה רציפה .באופן כללי יותר אם t1 < t2 < ... < tkאז נקח ∞→i סדרות של דיאדיים tij −→ tjונקבל על סמך מה שהוכחנו שההפרשים באינדקסים הללו הם ב"ת ומפולגים: B tij+1 − B tij ∼ N 0, tij+1 − tij ואפשר להראות שמתקיימת התכנסות של הוקטור הרב־נורמלי ∞→ i )) B ti2 − B ti1 , ..., B tik − B tik−1 −→ (B (t2 ) − B (t1 ) , ..., B (tk ) − B (tk−1 לוקטור רב־נורמלי :כך ש: ) B (tj ) − B (tj−1 ) ∼ N (0, tj − tj−1 הערה 8.4זה בקירוב מוכיח את הקיום של תנועת בראון על ] [0, 1ואפשר להרחיב את זה לכל הישר על ידי שרשור של תהליכים זהים המוגדרים על כל הקטעים מהצורה ] ) .[n, n + 1בנוסף כדי להיות פורמלי לחלוטין צריך לדבר גם על ה־ σ־אלגברה שעובדים איתה במרחב הפונקציות הרציפות וכו'(. נתעניין כעת בהתנהגות של )∼ N (0, 1 )B(t √ t כאשר tגדול מאוד או קטן מאוד. טענה 8.5 מתקיים ∞ = )B(t √ t lim supכ"ת. ∞→t הוכחה :נתבונן בסדרה |B (tn )| ≤ tnשכן: 2n ∞→n . tn+1אפשר להראות שקיים Nכך שלכל n ≥ Nמתקיים tn = 22אשר עבורה מתקיים ∞ →− t2 n √ tn λ2 P B (tn ) ≥ λ tn ≤ e− 2 =⇒ P (B (tn ) ≥ tn ) ≤ e− 2 והמסקנה נובעת מהלמה הראשונה של בורל קנטלי .כעת ידוע לנו כי: ) B (tn+1 ) − B (tn ) ∼ N (0, tn+1 − tn לכן לכל K > 0קיים aKקבוע כך ש: tn+1 > aK > 0 p P B (tn+1 ) − B (tn ) > K מאחר וזוהי סדרה של מ"מ בלתי־תלויים נסיק מהלמה הראשונה של בורל־קנטלי שעבור אינסוף ערכי nמתקיים: Kp ∞→n ∞ →tn+1 − 2 ≥ tn+1 − tn p B (tn+1 ) = B (tn+1 ) − B (tn ) + B (tn ) ≥ K 66 8 תנועה בראונית: נשאל כעת מה ההתפלגות של ) ,M := max B (tנתבונן בזמן עצירה )בהגדרה מתאימה לתהליך רציף( שנתון על ידי: ]t∈[0,1 }Tλ = min {t | B (t) = λ באופן זה נקבל כי: )P (M ≥ λ) = P (Tλ ≤ 1 מאחר ש־ ) B (1) − B (Tλ ) ∼ N (0, 1 − Tλוזוהי התפלגות סימטרית נסיק כי: )P (B (1) ≥ 1 )P (B (1) ≥ λ | Tλ ≤ 1 1 1 ⇒= = = 2 )P (Tλ ≤ 1 )P (Tλ ≤ 1 2 )=⇒ P (Tλ ≤ 1) = 2P (B (1) ≥ λ) = P (|B (1)| ≥ λ = )P (B (1) ≥ λ | Tλ ≤ 1 מכך ניתן לראות כי | max B (t) ∼ |Zכאשר ).Z ∼ N (0, 1 ]t∈[0,1 טענה 8.6 נראה באמצעות מה שהראינו ש־ = 0 |)|B(t √ t log t .lim sup ∞→t הוכחה :נגדיר |) M (t) := max |B (sונקבל באופן דומה למה שעשיה ש־ ) M (t) ∼ N (0, tומכך: ]s∈[0,t p K 2 log t K2 P M (t) > K t log t ≤ e− 2 = t− 2 בפרט עבור tn = nנקבל כי: p K2 P M (n) > K n log n = n− 2 √ הטור של איברי אגף ימין מתכנס ולכן מבורל קנטלי המאורע ש־ M (n) > K n log nקורה רק מספר סופי של פעמים עבור כל )(n |) .lim sup √|B(tכמו כן √Mקורה מספר סופי של פעמים לכל K > 0ומכך אפשר להסיק ש־ = 0 Kומכל המאורע ש־ > K t log t n log n ∞→t אפשר לקחת סדרה עולה אקספוננציאלית ולקבל ש: )B (t 1 ∞< √ = t log log t 2 √ lim sup ∞→t עוד כמה תכונות מעניינות של תנועת בראון: 0 .1התהליך B (t) = tB 1tהוא תנועת בראון. .2התהליך a1 B a2 tהוא תנועת בראון לכל .a .3בכל נקודה tההסתברות ש־ Bגזיר בנקודה tהיא אפס. B (t) .4לא גזירה באף נקודה בהסתברות ) 1לא נובע מהטענה הקודמת(. 67
© Copyright 2024