מבוא להסתברות וסטטיסטיקה למדעי ם הקורס סיכו , שנת - Notes
סיכום הקורס מבוא להסתברות וסטטיסטיקה למדעי
המחשב א' ,שנת הלימודים תשע"ב
מאת סשה גולדשטייןsashag@cs ,
הסיכום להלן מבוסס על הרצאותיו של ד"ר גל אלידן ושיעורי התרגול של מר לירון רבנר .זהו אינו סיכום רשמי של
סגל הקורס ,ואינני מתחייב על דיוק הנאמר בו .לא כל הדוגמאות שהובאו בשיעור נמצאות בסיכום .אם אתם
מוצאים טעות ,אי-דיוק ,השמטה – אשמח לקבל הערות למייל שלי.sashag@cs ,
הסתברות בסיסית
מטרת הקורס היא לבנות שפה פורמלית לטיפול באי-וודאות .נעסוק במונחים ניסוי ,מרחב מדגם ,הסתברות.
מרחב מדגם ופונקציית הסתברות
הגדרה :מרחב המדגם הוא אוסף כל התוצאות האפשריות בניסוי (מאורעות) ,ונסמנו .
הגדרה :פונקציית הסתברות
הבאות (אקסיומות קולמוגורוב):
) (
()1
) (
( )2לכל מאורע ,
( )3לכל זוג מאורעות זרים
ממפה מאורעות למספרים .פונקציית הסתברות מקיימת את האקסיומות
) (
( ),
(
)
הגדרה :עבור מרחב מדגם בדיד וסופי ,פונקציית הסתברות המקיימת
| |
| |
) ( לכל מאורע
נקראת פונקציית
הסתברות אחידה.
קל לראות שפונקציית הסתברות אחידה אכן מקיימת את האקסיומות הדרושות מפונקציית הסתברות.
הגדרה :נחלק את מרחב המדגם למאורעות
נקרא מאורעות אלמנטריים.
למאורעות
מתקיים
כך שלכל
וגם
⋃.
דוגמאות:
הטלת מטבע לא מוטה .מרחב המדגם הוא
בהטלת קובייה 5פעמים ,ניתן להסתכל על מספר מרחבי מדגם:
תוצאות אפשריות ,למשל
oתוצאה ספציפית – יש
oמקסימום בכל 5ההטלות – יש 6תוצאות אפשריות
oכמה פעמים היה מספר זוגי בקובייה – יש 6תוצאות אפשריות
מרחב מדגם של הטלת קוביה לא מוטה פעמיים – 36תוצאות אפשריות ,והוא סימטרי (או אחיד) – ההסתברות של כל מאורע
אלמנטרי היא אותו הדבר
מהי ההסתברות של 12-אנשים יש ימי הולדת ב 12-חודשים שונים?
מאורעות העונים על הדרישה .בהנחה שמרחב המדגם הוא
מאורעות שונים ,ומתוכם
oבמרחב המדגם
סימטרי ,התוצאה היא
וכאן
) (
) ( .
,ועבור כל אחר,
) ( עבור כל כך שקיים מאורע אלמנטרי שמקיים
נגדיר פונקציית הסתברות כך ש-
) ( .זוהי אכן פונקציית הסתברות :שתי האקסיומות הראשונות מתקיימות באופן טריוויאלי ,וגם השלישית מתקיימת
מבדיקה.
ניתן להגדיר גם פונקציית הסתברות על מרחבי מדגם רציפים (אינסופיים):
)
( וכך
oלמשל ,מסובבים גלגל מזל שהיקפו 1כך שהגלגל יכול להיעצר על כל מספר בין 0ל .1-כאן ,למשל,
גם לכל תוצאה ספציפית אחרת.
)] [ ]
[( ,ועבור איחוד של קטעים זרים
oכדי להגיע להסתברויות חיוביות ,נסתכל על קטעים ונגדיר
( )] [ ]
( )
)
[( .
oקל לראות שהאקסיומות מתקיימות עבור בנייה מהסוג הזה.
זורקים מטבע בקוטר 3ס"מ על שולחן אינסופי של משבצות -4על 4-ס"מ .מה ההסתברות שהמטבע נופל בתוך משבצת?
oבמרכז כל משבצת -4על 4-יש ריבוע בגודל -1על 1-שאם מרכז המטבע נופל בתוכו – מקבלים את המאורע המבוקש.
בהנחה שההסתברות אחידה ,ההסתברות לכך היא
.
שני חברים שקבעו להיפגש מאחרים לפגישה בין 0ל 60-דקות באופן אחיד; כל אחד מחכה לשני רבע שעה ,ואם חברו לא מגיע
– עוזב את המקום .מה ההסתברות שייפגשו?
oניתן להסתכל גם על הבעיה הזאת כבעיית שטח – השטח בין שני הישרים האדומים בגרף הבא:
איחור הראשון
A
B
איחור השני
קל לראות ששטח זה הוא:
o
טענה:
)
) (
(
) (
,וזהו הסיכוי שייפגשו.
) ( לכל פונקציית הסתברות.
הוכחה( ) :
) (
טענה( ) :
) (
הוכחה( ) :
)
טענה( ) :
(
)
(
) ( ומהעברת אגפים,
) (
(
))
) ( ∎.
) ( ∎.
(
) (
) (
הוכחה( ) :
)
(
מתקיים )
טענה :לכל שני מאורעות
הוכחה :ראשית) ,
)
(
את שתי התוצאות מקבלים )
)
(
) (
)
) (
)
) ( .באופן דומה) ,
)
(
) (
(
(
(
∎.
)
(
)
(
(
)
( .
(
)
) (
(
)
(
) ( .אם מחברים
) ( ,כלומר:
(
) (
כפי שרצינו∎ .
ניתן גם להכליל טענה זו למספר כלשהו של מאורעות ,באמצעות נוסחת ההכלה וההדחה.
) (
טענה) :
)
(
הוכחה :אינדוקציה על .המקרה
(
))
)
)
(
)
)
)
,למשל ,נובע מפירוק
(
(
)
(
(
⋃(
לאיחוד של שלושה מאורעות זרים:
( .המקרה הכללי:
⋃(
⋃(
)
(
)
כאשר המעבר הראשון הוא מהנחת האינדוקציה על
)
)
)
⋃((
(
(
)
)
⋃(
והמעבר השני הוא מהנחת האינדוקציה וחוק דה-מורגן
⋃∎ .
המוכלל על הגורם
הסתברות מותנית
רוצים לשאול מה ההסתברות למאורע מסוים בהינתן שמאורע אחר כבר התרחש ,כלומר בתנאי שמשהו כבר נתון
לנו .ההתנייה משנה את העולם ההסתברותי – את פונקציית ההסתברות.
נסמן ב ( | )-את ההסתברות של המאורע
הגדרה :בהינתן מאורעות
הסתברות מותנית .נגדיר:
טענה :הפונקציה
(
)
(
)
) (
בהינתן המאורע .זוהי
) | ( .
) | ( היא אכן פונקציית הסתברות.
) (
הוכחה :ברור ששתי האקסיומות הראשונות מתקיימות .האקסיומה השלישית מתקיימת גם כן:
))
) |
( )
) (
(
) |
)
)
) (
)
(
) (
((
)
(
((
) |
(
(
כנדרש∎ .
טענה (חוק הכפל או חוק השרשרת)( ) ( | ) :
)
) | ( ) (
| (
)
)
⋂( .
( וכן
הוכחה :החלק הראשון בהעברת אגפים בהגדרת הסתברות מותנית ,החלק השני באינדוקציה על ∎ .
מתקיים ) | ( ) (
טענה (נוסחת ההסתברות השלמה) :עבור זוג מאורעות
הוכחה) :
(
)
(
))
(
)
((
) | ( ) (
) ( .
) ( ומכאן המסקנה לפי חוק הכפל∎ .
ניתן להסתכל על הנוסחא כפירוק המאורע לשני עולמות – עולם שבו קרה ,ועולם שבו לא קרה .ניתן גם
שאיחודם ,ואז מתקבלת הנוסחא הכללית יותר ,לפיה
להכליל את הנוסחא ל -מאורעות זרים בזוגות
(
∑ )
) | ( ) (
∑ ) ( .
דוגמאות:
מה ההסתברות שיצא 3בקוביה ,בהינתן שיצא מספר אי-זוגי?
o
אפשר לספור מאורעות אלמנטריים – מדובר במאורע 1מתוך ,3ולכן התוצאה היא .אפשר לקבל אותה תוצאה גם
בעזרת ההגדרה לעיל על חיתוך מאורעות ,כמובן.
להצליח הוא והסיכוי של
שתי קבוצות קידוד ברפא"ל התבקשו לכתוב את תוכנת ה"חץ" בתוך שנה .הסיכוי של
להצליח
הוא .הסיכוי שלפחות אחת תצליח הוא .בהינתן שקבוצה אחת בלבד הצליחה ,מה ההסתברות שזו ?
o
המאורעות האפשריים הם )
הנתונים,
((
))
()
()
))
((
))
משוואות בשלושה נעלמים ומקבלים
o
()
))
(
המייצגים הצלחה/כישלון של כל אחת מהקבוצות .לפי
()
( ( ,וכך אפשר לבטא גם את שאר המידע .פותרים שלוש
))
((
))
((
))
((
(( .
כעת נשתמש בהסתברות מותנית ונקבל את התוצאה המבוקשת:
))
))
((
()
))
((
()
()
(|)
((
תוכנת אבטחה מתריעה כשיש חדירה של וירוס בסיכוי של ,0.00וכשאין וירוס בסיכוי של .0.1הסיכוי לוירוס הוא .0.05מה
הסיכוי שיהיה במערכת וירוס והמערכת לא תתריע על כך?
oנסמן ב -את המאורע שוירוס חדר למערכת ,וב -את המאורע שהייתה התרעה .אם כן,
) | ( ) (
() (
)) | (
(
)
משחק הדלתות :במשחק שלוש דלתות .בשלב הראשון שמים פרס מאחורי דלת ודחליל מאחורי האחרות .המתחרה בוחר דלת
באקראי .בשלב השני המנחה פותח דלת שמאחוריה דחליל שאינה זו שהמתחרה בחר .בשלב השלישי נותנים למתחרה
אפשרות להחליף את הדלת – מה כדאי לו לעשות?
o
ברור שההסתברות להצלחה בהינתן שלא משנים את הדלת היא .השאלה מה ההסתברות להצלחה בהינתן
שמשנים את הדלת .נניח שהפרס הוא מאחורי דלת מס' ,1ונכתוב את כל האפשרויות לפי נוסחת ההסתברות
השלמה:
) ( ) | (
o
) ( ) | (
) (
) ( ) | (
באופן דומה מתקבלת תוצאה של כאשר הפרס הוא מאחורי כל דלת אחרת ,ולכן ההסתברות להצלחה אם מחליפים
דלת היא – וזה הדבר שכדאי לעשות.
פרדוקס ימי ההולדת ( :)Birthday Paradoxבכיתה של 40תלמידים ,מה הסיכוי שלשניים או יותר יום הולדת באותו יום (תחת
ההנחה שהסיכוי להיוולד ביום מסוים שווה לכל יום אחר)?
– המאורע שיום ההולדת של התלמיד הראשון לא חופף עם קודמיו
oנסדר את התלמידים שרירותית ונסמן
– המאורע שיום ההולדת של השני לא חופף עם קודמיו (הסתברות מאורע זה
(הסתברות מאורע זה היא ,)1נסמן
היא
o
) ,וכו' .אנו מחפשים את ההסתברות של המאורע
לפי חוק הכפל מקבלים:
)
|
)
(
נותן עדות חיובית ל -אםם
הוכחה( ) :
) | (
טענה (חוק בייס – :)Bayes
) (
) ( ) | (
) (
נותן עדות חיובית ל. -
(
)
הוכחה :מיידית מההגדרה,
)
) (
) (
(
) (
) | ( ,והכיוון השני הוא סימטרי∎ .
) | ( .
בניסוח אחר ,באמצעות נוסחת ההסתברות השלמה:
) ( ) | (
) (
|
( )
|
( )
(
)
(
) | ( .
הגדרה :נאמר ש -נותן עדות חיובית ל -אם ) (
טענה:
.
) (
(
)
) (
) (
) ( ) | (
) ( ) | ( ) ( ) | (
(
)
) (
) | ( ∎.
) | ( .
ניתן להכליל את החוק עבור כל אוסף מאורעות
ולקבל את הניסוח הבא:
)
) ( ) | (
) ( ) | (
∑
המהווים חלוקה של
( ) | (
) (
(זרים בזוגות שאיחודם )
) | ( .
דוגמאות:
מבחן למחלה נדירה מחזיר תשובה חיובית (רעה) ב 05%-מהמקרים אם יש את המחלה ,ותשובה שלילית בסיכוי 05%אם אין
את המחלה .שכיחות המחלה באוכלוסיה היא .0.1%מה איכות המבחן?
oנסמן כעת – המאורע התשובה חיובית – ,המאורע שיש מחלה ,ונמצא את ההסתברות שיש מחלה בהינתן
שהתשובה הייתה חיובית:
) ( ) | (
) | (
) ( ) | (
) ( ) | (
oוזו תוצאה גרועה ממש – המבחן מדייק בזיהוי המחלה בפחות מ 2%-מהמקרים!
פרדוקס סימפסון :במחקר להשוואת שני טיפולים בכליות נמצא שטיפול א' מצליח בסיכוי של 87%וטיפול ב' מצליח בסיכוי של
.73%
oמידע נוסף – בטיפול א' הייתה הצלחה של 03%בטיפול באבנים קטנות והצלחה של 83%בטיפול באבנים גדולות,
ואילו בטיפול ב' הייתה הצלחה של 78%בטיפול באבנים קטנות והצלחה של 60%בטיפול באבנים גדולות.
oהתוצאות נראות כאילו טיפול א' דווקא עדיף! – אבל העניין הוא שבטיפול א' היו הרבה יותר אנשים עם אבנים גדולות,
מה שגרם לטיפול ב' להיראות מוצלח יותר באופן אבסולוטי .נסתכל על טיפול א' (הצלחה = ,Hאבנים קטנות = ,S
אבנים גדולות = :)B
) (
) ( ) | (
) ( ) | (
(
)
oכלומר ,בטיפול א' היו ל 85%-אבנים גדולות ,ובאופן דומה בטיפול ב' היו 22%בלבד עם אבנים גדולות .זו הסיבה
להטיית התוצאות האבסולוטיות.
) | ( אז נאמר שהמאורע
הגדרה :אם מתקיים ) (
)
) ( ) (
.
( .לפעמים גם נסמן
בלתי-תלוי במאורע .בניסוח אחר ,נאמר
אינטואיטיבית ,התרחשות המאורע לא משפיע על ההסתברות המאורע .אי-תלות היא סימטרית – אם
בלתי-תלוי ב , -אזי גם בלתי-תלוי ב( -ישירות מהגדרת הסתברות מותנית) ,ולכן פשוט נאמר שהמאורעות
בלתי-תלויים.
טענה:
הוכחה) :
) ( ) (
(
)) (
) ( ) (
)
() (
הגדרה :נאמר שהמאורעות
(
) ( ) (
)
(
) (
הם בלתי-תלויים בהינתן
) (
)
וכעת מעבירים אגפים ומקבלים
( כנדרש∎ .
אם ) | ( ) | (
) |
( .
דוגמאות:
מאורעות זרים אינם בלתי-תלויים (כמעט תמיד) :אם אחד מהם קרה ,אז השני בוודאי לא קרה ,ולכן הם משפיעים זה על זה.
) (
) ( .
האפשרות היחידה שבה הם בלתי-תלויים היא המקרה המנוון
בכד 10כדורים ממוספרים ,ומוציאים מתוכו 3כדורים ללא החזרה .המאורע שהכדור הראשון הוא ,1ו -המאורע שהכדור
אינם בלתי-תלויים כיוון שההוצאה היא ללא החזרה.
השני הוא .3המאורעות
מסובבים סביבון הוגן פעמיים .ההסתברות לכל אפשרות היא
שבסיבוב השני יצא .האם
o
מהנתון,
)
) ( ) (
מסובבים סביבון הוגן פעמיים.
בלתי-תלויים?
ו-
בלתי-תלויים לכל
( .מספירה,
)
– המאורע שבסיבוב הראשון יצא ,ו-
.נגדיר
– המאורע
?
))
(
)
((
) ( וכך גם לגבי
.לכן מתקיים
( ואכן המאורעות הם ב"ת.
– המקסימום בשני הסיבובים הוא ,2
– המינימום בשני הסיבובים הוא .2האם המאורעות
o
)
כאן
) ( .אפילו לא צריך לחשב את ) ( כעת ,כי זה לא יכול לצאת על פני 16
( ,ואילו
) ( ) ( .
מאורעות אלמנטריים שווי הסתברות .מספירה,
מטילים פעמיים מטבע הוגן ,שתי ההטלות בלתי-תלויות .נסמן
?
– אך האם |
יצא משהו שונה .מהנתון,
o
נסתכל על ההסתברויות) :
) |
(
– יצא ראש בהטלה הראשונה ,כנ"ל
( ,כלומר
ובאופן דומה גם
,ו – -בשתי ההטלות
.אלא ש-
( כי לא ייתכן שהיו שתי הטלות שיצא בכל אחת משהו אחר ובשתיהן יצא ראש ,ולכן אין כאן אי-
) |
תלות מותנית.
נתונים שני מטבעות ,אחד עם הסתברות 0.00לראש והשני עם הסתברות 0.01לראש .בוחרים בהסתברות שווה מטבע (א' או
כמו בסעיף הקודם.
ב') ואז מטילים שתי הטלות בלתי-תלויות .יהי המאורע שנבחר מטבע א' ,והמאורעות
.
oמהנתון| ,
) ( ) | (
) ( .מצד שני ,מקבלים
) ( וכך גם
) ( ) | (
? ובכן,
oהאם
( )
מתקיים )
(
) ( ) |
(
) ( ) |
( ולכן המאורעות האלה אינם בלתי-תלויים.
)
הגדרה :נאמר שהמאורעות
(
)
מתקיים ) (
בלתי-תלויים אם לכל
( ,כלומר כאן לא
∏
)
⋂( .
הסיבה שאנו דורשים את זה לכל תת-קבוצה ולא משהו חלש יותר היא שאנו לא רוצים "לפספס" תלות .למשל ,אם
היינו דורשים רק אי-תלות בזוגות ,ייתכן שצירוף של שלושה מאורעות היה יוצר תלות .לחלופין ,אם היינו דורשים
רק אי-תלות של כל הקבוצה ,ייתכן שזוג מאורעות היה יוצר תלות שהייתה נעלמת עם מאורעות אחרים בקבוצה.
הגדרה :ניסוי ברנולי ( )Bernoulliהוא ניסוי עם שתי תוצאות אפשריות .נקרא לאחת מהן "הצלחה" ונסמן את
ההסתברות להצלחה ב. -
דוגמאות:
.בכל זמן נתון לקוח מתחבר בהסתברות
ספק אינטרנט מתקין מודמים המיועדים לשרת אנשים ,כאשר
מהאחרים .מה ההסתברות שיותר מ -לקוחות יתחברו (נסמן מאורע זה ב?) -
oנחשב ישירות כאשר אנו משתמשים בהגדרת אי-תלות על קבוצת המאורעות של כל הלקוחות:
)
(
) ( ∑
oלמשל ,עבור
נניח שהשמש זורחת בכל יום בהסתברות
}
) (
באופן ב"ת
) (
∑
) ( .
מקבלים
לא ידועה .ההנחה היא שכל יום הוא ניסוי ברנולי ,כאשר
נבחר אקראית מהאוסף
{ .רוצים להשתמש בניסיון של 5,000שנים כדי לקבוע את .
o
נסמן ב-
את המאורע שהשמש זרחה
למצוא את )
o
פעמים ,וב -את המאורע שהשמש תזרח מחר (בפעם ה-
| ( ,ולמעשה מספיק למצוא את
נשתמש בנוסחת ההסתברות השלמה על כל ערכי
∑
∑
) (
כי
(
)
)
)
(
(
)
(
)
) .רוצים
| ( .
האפשריים:
)
|
( )
( ∑
)
(
∫
o
כעת כאשר
מקבלים
)
( ו-
)
| ( .לסיכום ,ככל שהשמש זורחת יותר ימים ברציפות,
אנו נעשים יותר ויותר משוכנעים שהיא תזרח מחר.
מטבעות .אבי מטיל מטבעות ובתיה מטילה
לאבי ולבתיה
תלויות .מהי ההסתברות שלבתיה יהיה יותר "עץ" מאשר לאבי?
oנסמן – לבתיה יש יותר "עץ" מלאבי .נסתכל על ההטלות הראשונות שלהם (ולבתיה נותרה עוד הטלה אחת)
– לשניהם אותו מספר הטלות "עץ" .נחשב את ההסתברויות
– לאבי יותר "עץ",
– לבתיה יותר "עץ",
ונסמן:
של המאורעות:
) (
) (
) (
) (
) (
) (
מטבעות .המטבעות הוגנים ,וההטלות הן בלתי-
))
(
)
(
)
(
)
(
( )
)
| (
| (
( )
)
| (
( )
) (
משתנים מקריים בדידים
.תומך זהו אוסף הערכים שהמ"מ יכול לקבל (תמונת הפונקציה).
הגדרה :משתנה מקרי הוא פונקציה
נשתמש במשתנים מקריים כדי לסנן מתוך מרחב המדגם (שיכול להיות עצום ומפחיד) את המספרים שמעניינים
" מגדירה מאורע
אותנו שנוכל לבצע עליהם חישובים בקלות רבה יותר .בהינתן משתנה מקרי ,האמירה "
) (
הם
,המאורעות
.נשים לב גם שלכל
– זהו אוסף המאורעות כך ש-
מאורעות זרים.
דוגמאות:
.נגדיר משתנה מקרי הסופר את מספר הפעמים שיצא
בניסוי מטילים שני מטבעות,
.
.
מסובבים שני סביבונים .נגדיר – מספר התוצאות הזוגיות .התומך הוא
.נגדיר מ"מ המקבל 1אם מספר ה -זוגי ,ו0-
מבצעים הטלות מטבע ,ורואים רק את מספר ה -שיצאו:
אחרת .כעת זהו ניסוי ברנולי.
.
מסובבים שני סביבונים .נגדיר – המינימום שיצא בשני הסיבובים .התומך:
זורקים חץ על הישר ] [ .התוצאות האפשריות[ ] :
.נגדיר מ"מ המקבל 1אם פגענו בין 0ל ,0.5-ו 0-אחרת.
הגדרה :פונקציית התפלגות ( Probability Mass Functionאו )Probability Distributionשל מ"מ
(
∑ )
) (
) ( .
) (
כמובן ,תמיד מתקיים
)
(
∑ ,כיוון ש -היא פונקציית הסתברות ו-
)
בשתי ההטלות:
זו הפונקציה
( ⋃.
משתנים מקריים טיפוסיים
הגדרה :משתנה מקרי אחיד מסומן )
מקיימת
) (
(
עם תומך
לכל
אם פונקציית ההתפלגות שלו
.
דוגמאות:
המספר שיוצא בקוביה הוגנת.
).
המספר שיוצא בכדור הראשון בלוטו (
– המספר שיצא בכדור הראשון ()
לוטו עם 10מספרים בכל כדור,
הגדרה :משתנה מקרי ברנולי מסומן ) (
)
(
)
( .
בכתיב אחר (שנשתמש בו בהמשך),
הגדרה :משתנה מקרי בינומי המסומן )
זהה
לכל אחד .התומך הוא
עם תומך
(
)
(
)
(
).
אם פונקציית ההתפלגות שלו מקיימת
( .
הוא מספר ההצלחות ב -ניסויי ברנולי ב"ת בעלי הסתברות
ופונקציית ההתפלגות היא
)
(
) (
)
( .
פורמלית ,יש להראות שזוהי אכן פונקציית הסתברות .כרגיל ,החלק המאתגר הוא להראות שההסתברויות
(
)
ולכן זהו למעשה
מסתכמות ל 1-על פני כל ערכי ,וזה נובע טריוויאלית מנוסחת הבינום (כי
פיתוח של ).
הגדרה :משתנה מקרי היפר-גיאומטרי מסומן )
)
() (
)
)
(
(
ופונקציית התפלגות
הוא בעל תומך
( .
זהו מ"מ המייצג את המצב שבו יש שתי קבוצות פריטים (בגודל ובגודל ) ואנו מבצעים ניסויים שבהם
בוחרים פריטים מהקבוצות ,ורוצים לדעת את ההסתברות שייבחרו פריטים מהקבוצה בגודל .
הוא מספר ניסויי ברנולי ב"ת בעלי הסתברות זהה
הגדרה :משתנה מקרי גיאומטרי המסומן ) (
( )
)
( .
ופונקציית ההתפלגות היא
להצלחה ,כולל .התומך הוא
עד
פורמלית ,יש להראות שזוהי אכן פונקציית הסתברות .אכן ,מסכום סדרה הנדסית אינסופית מתכנסת מקבלים:
)
)
(
∑.
(
הגדרה :ההסתברות לשרוד ( )Survival Functionעל מ"מ ) (
∑
(
)
∑
(
)
(
)
זוהי ההסתברות )
)
(
)
,אזי )
טענה (תכונת חוסר הזיכרון של מ"מ גיאומטרי) :יהי ) (
( ,ומתקיים:
( .
)
(
( .
|
הוכחה:
(
(
)
)
(
)
)
(
)
(
(
)
))
)
)
((
)
(
)
)
(
(
|
(
(
כנדרש∎ .
הגדרה :משתנה מקרי פואסוני ( )Poissonהמסומן ) (
בקצב היסטורי של
.התומך הוא
הוא מספר מאורעות ביחידת זמן המתרחשים
)
ופונקציית ההתפלגות היא
( .
זהו משתנה מקרי המשמש לעתים קרובות לתכנון וניתוח קצב או קצב הגעה (למשל ,מספר פצצות בקמ"ר של
לונדון במלחמת העולם השנייה ,או מספר טלפונים למרכזייה בשעה).
נראה שזו אכן פונקציית התפלגות ,שוב האתגר הוא להראות הסתכמות ל ,1-ונשתמש לשם כך בתוצאה מאינפי:
]
טענה :יהי )
הוכחה :נסמן
(
∑
[
(
.הגבול )
.נתחיל מ-
)
∑.
(
זהה להסתברות )
,אכן מתקיים:
⇒ )
( עבור )
)
(
(
)
נסתכל על המקרה הכללי:
)
)
( )
( )
(
(
) (
)
(
)
(
)
) (
(
)
(
(
.
( .כעת
)
(
( )
כעת נתבונן בכל גורם בנפרד כאשר
)
בגלל כל נכפל בנפרד .לבסוף,
)
מקבלים:
(
:
)
(
)
(
)
זהו קבוע ,ואינו מושפע מכך .הגורם
( שואף ל 1-ונותרנו עם )
)
(
( )
( שכמו קודם ,שואף ל-
שואף ל1-
.מכאן
כפי שרצינו∎ .
(
טענה זו מראה את הקשר בין התפלגות בינומית להתפלגות פואסונית – במובן מסוים ,התפלגות פואסונית היא
מודל טוב להתפלגות בינומית שבה מספר רב מאוד של ניסויים והסתברות נמוכה להצלחה בכל ניסוי.
תוחלת של משתנה מקרי
הגדרה :יהי
היא) :
מ"מ .התוחלת של
(
] [ .
∑
נתייחס רק לתוחלות קיימות ,כלומר כאלה שעבורן הטור מתכנס בהחלט .זה לא בהכרח המצב .כעת נחשב
תוחלות של משתנים מקריים מסוגים שכבר ראינו ,שלכולם התוחלת קיימת.
דוגמאות:
במשחק מזל ,מקבלים 5.5ש"ח בהסתברות 3 ,0.1ש"ח בהסתברות 0.5וכלום בהסתברות .0.4עלות ההשתתפות היא 2.5
ש"ח .מהי תוחלת הרווח? – חישוב ממוצע משוקלל.
התוחלת של ערך ההטלה בקוביה היא .3.5
) ( היא מאוד קרובה ל.6-
התוחלת של ערך ההטלה בקוביה מוטה עם
טענה :יהי ) (
] [ .
.אזי
הוכחה:
)
∑
(
)
∑
(
)
∑
)
] [
( ∑
(
∑
כאשר השתמשנו בכך שכבר ראינו שפונקציית ההתפלגות של מ"מ פואסוני מסתכמת ל 1-על כל ערכי התומך∎ .
טענה :יהי
מ"מ ונגדיר ) (
( ) (
פונקציה כלשהי .מתקיים) :
כאשר
∑
הוכחה :נתייחס ל -כמשתנה מקרי ונחשב את התוחלת שלו:
)
(
∑
∑
)
(
) (
∑
)
(
∑
) (
)
( ) ( ∑
)
( ) (
∑
) (
כנדרש∎ .
∑
] [
] [ .
דוגמאות:
(
מוכר פלאפל מכין מנות בתחילת היום .מספר הלקוחות הוא )
המוכר להכין כדי למקסם את תוחלת הרווח?
.
oנסמן – הרווח ,מספר המנות שנכין ,וכאן
oכעת ניתן לחשב את התוחלת של ולמצוא את מספר המנות שיש להכין:
]
o
∑
]
∑ [
.כל מנה עולה 3ש"ח ונמכרת ב 0-ש"ח .כמה מנות על
)
∑ [
(
] [
∑
לביטוי שהתקבל אפשר למצוא מינימום כפונקציה של .הנה גרף הפונקציה:
150
100
50
80
60
40
)
(כלומר 5 ,משלוחים) יוחזרו:
20
חנות אלקטרוניקה מקבלת בכל שבוע משלוח של 04מכשירים מהמפעל .ההסתברות לקבל מוצר פגום היא ,%7באופן ב"ת
מהמוצרים האחרים .מהי ההסתברות שבמשלוח יהיו לפחות 0מוצרים פגומים?
(
oנגדיר מ"מ )
המייצג את מספר הפריטים הפגומים ,ועלינו למצוא את ההסתברות הבאה:
(
)
(
)
(
)
(
)
(
)
oאת ההסתברות הזאת אנו יודעים לחשב לפי פונקציית ההתפלגות של מ"מ בינומי.
oכעת נניח שמגיע משלוח ,בחנות בוחרים 04מוצרים ללא החזרה ,ואם נמצא מכשיר לא תקין – מחזירים את המשלוח.
נשלחו 04משלוחים שבכל אחד 3מוצרים פגומים ,מהי ההסתברות שבדיוק חצי יוחזרו?
(
oנגדיר כאן מ"מ )
מספר המוצרים הפגומים בבדיקה .ההסתברות שמשלוח אחד יוחזר מתקבלת לפי
(
)
(
)
(
)
ונמצא את ההסתברות שחצי מהמשלוחים
.כעת נגדיר מ"מ נוסף
)
(
( .
מבצעים הטלות ב"ת של מטבע עם הסתברות .מהי ההסתברות שמספר ה"עץ" יהיה זוגי?
הסופר את מספר ה"עצים" ואנו מחפשים את ההסתברות שערכו יהיה זוגי .כעת נכתוב נוסחת
(
oנגדיר מ"מ )
נסיגה להסתברות הרצויה .נסמן ההסתברות למס' זוגי של "עץ" לאחר הטלות .מקרה הבסיס הוא 4הטלות ,ושם
(
( )
)
(
)
.ניתן להוכיח באינדוקציה ש-
.נוסחת הנסיגה היא:
) )
o
(
(
.
דרך אחרת – נפתח ישירות:
)
]
()
() (∑
[
]
)
(
) ( )
) )
(
(∑
)
(
] ))
(
) ( ∑[
)
טענה :יהי )
(
(
(
[
(
] [ .
,אזי
הוכחה :נחשב ישירות:
)
כנדרש∎ .
()
(
∑
∑
] [
(
טענה :יהי )
] [ .
,אזי
הוכחה :נחשב ישירות:
)
)
)
(
(
(
(
)
( )
)
(
)
∑
)
)
∑
)
(
()
(
(
)
(
) ( ∑
( )
)
(
)
)
(
((
] [
∑
∑
כנדרש∎ .
טענה :יהי
מ"מ אי-שלילי ,אזי ] [
)
∑.
(
הוכחה:
]
)
(
( [
)
]
(
)
( [
)
)
)
] [
( ∑
(
( ∑
)
∑
כנדרש∎ .
טענה (ליניאריות התוחלת) :יהי
משתנה מקרי ,אזי
] [
[ .
]
הוכחה :נחשב ישירות:
] [
)
( ∑
(
)
∑
)
( )
(∑
]
[
כנדרש∎ .
לא נכון באופן כללי ש( [ ])-
]) ( [ עבור פונקציה
כלשהי.
דוגמאות:
אם מזג האוויר הוא טוב (בהסתברות ,)4.0אז שולה הולכת 2ק"מ לכיתה במהירות 5קמ"ש; אחרת ,שולה משתמשת באופנוע
(באותו מסלול) במהירות 34קמ"ש .מהו זמן ההגעה הממוצע של שולה?
o
נסמן אותו ב , -ונשים לב ש-
)
(
ו-
)
( .התוחלת מתקבלת משני הערכים האפשריים,
] [ .
] [ .
oנסמן כעת ב -את המהירות של שולה ,ומתקיים
oאמנם ,הדרך = זמן כפול המהירות ,אך עבור התוחלת זה לא נכון!
בחידון שתי שאלות .הסיכוי לענות על שאלה 0נכון הוא 4.0והפרס הוא ,$044הסיכוי לענות על שאלה 2הוא 4.5והפרס הוא .$244
אחרי שנכשלים בשאלה ,אי אפשר להמשיך .על איזו שאלה כדאי לענות קודם?
ערכי הזכייה .נסתכל על תוחלת הרווח בכל אסטרטגיה:
ההסתברויות ו-
oנסתכל על המקרה הכללי כאשר
] [
(
)
(
)
] [
(
)
(
)
oברור שההבדל נקבע ע"י הגורם הראשון .במקרה הספציפי של נתוני השאלה ,עדיף לענות קודם על השאלה הקלה יותר.
דולרים כאשר הוא מספר ההטלות (הכולל).
פרדוקס סנט-פטרסבורג :במשחק מזל מטילים מטבע הוגן עד שיוצא .מקבלים
כמה אתם מוכנים לשלם עבור ההשתפות במשחק?
oנחשב את תוחלת הרווח במשחק:
] [
o
הטור לא מתכנס – כביכול ,ב"ממוצע" מקבלים החזר של ,אז כדאי להמר בכל סכום .ה"פרדוקס" הוא ההבדל בין
התוחלת לבין מה שסביר – התוחלת מייצג את הרווח על פני הרבה משחקים ,בעוד שאם נהמר ,$0420הסיכוי שנחזיר את
.
מה שהימרנו במשחק אחד הוא בסך הכל
שונות של משתנים מקריים
מסומנת ומוגדרת ] )] [
הגדרה :השונות של מ"מ
ומוגדרת ) (
) (
√
([
) (
מסומנת
.סטיית התקן של
.
השונות היא מדד לפיזור של המשתנה המקרי סביב התוחלת שלו .מכאן הרצון לחסר מהמשתנה המקרי את
התוחלת שלו ,כאשר הריבוע נועד להבטיח שלכל ערך של המ"מ שרחוק מהתוחלת ,אנו מוסיפים לסטייה – אילו
היינו לוקחים ]] [
[ ,הסטיות היו מבטלות זו את זו והיינו מקבלים תמיד שונות .0
הוא ]
הגדרה :המומנט ה -של מ"מ
]
טענה[ ] :
[
[ .
) (
הוכחה :נחשב ישירות:
] ] [
]
] [
] [
[
] )] [
[
] [ ] [
] [
([
] [
) (
כנדרש∎ .
טענה :יהי
)
משתנה מקרי ,אזי ) (
(
.
הוכחה :נחשב ישירות:
] )] [
) (
(
[
] )]
[
)
([
)
(
כנדרש∎ .
בפרט ,קיבלנו שהזזה בקבוע של מ"מ לא משנה את השונות שלו – וזה אכן הגיוני ,כי הזזה בקבוע משנה את
התוחלת אבל לא יכולה לשנות את הפיזור שהיה קיים במילא סביב התוחלת.
טענה :יהי )
(
,אזי )
) (
(
.
הוכחה :הרבה אלגברה מגעילה∎ .
טענה :יהי )
(
,אזי
)
(
) (
.
הוכחה :ראשית נחשב את השונות של )
(
)
)
)
(
(
()
)
(
(
(
(
)
(
))
(
,ו)-
נסמן
)
המקורי לפי הטענה שראינו קודם .לכן,
טענה :יהי ) (
)
()
)
כעת ,בהינתן )
(
ואז נסתכל עליו כהזזה של :
(
] [ ו-
,אזי
∑
] [
]
)
()
(
)
(
) (
) (
[
( ()
) (
(
והשונות שלו זהה לשונות של המ"מ
) (
כנדרש∎ .
.
הוכחה :נתחיל מהתוחלת:
(
))
)
(
(
] [
∑
נסתכל על שתי הנגזרות הראשונות של הטור הגיאומטרי שיעזרו לנו בהמשך (משתמשים באותו טור כמו בשוויון
הקודם):
)
∑
(
)
(
)
(
∑
∑
)
∑(
)
(
∑
)
∑(
)
(
∑
וכעת ניגש למומנט השני שבאמצעותו נחשב את השונות:
)
(
)
∑
( )
(∑
)
] [
כנדרש∎ .
טענה :יהי ) (
הוכחה :בתרגיל ∎ .6
.אזי
) (
.
(
∑
]
[
]
) (
[
(
טענה :יהי )
)
] [
.השכיחות היחסית היא מ"מ ,ומתקיים
(
ו-
) (
.
הוכחה :מליניאריות התוחלת והתכונה שהוכחנו לגבי שונות∎ .
מהתוצאה הזאת נובע ש-
,כלומר ככל שעושים יותר ניסויים ,השונות של השכיחות היחסית
) (
הולכת ומתקרבת ל( 0-כלומר ,השכיחות היחסית מתקרבת לתוחלת שלה).
דוגמא:
וההסתברות לעץ במטבע 2היא .נגדיר מ"מ – סופר את מספר העצים כאשר בוחרים
ההסתברות לעץ במטבע 0היא
באקראי מטבע ומטילים אותו פעמיים ,ומ"מ – סופר את מספר העצים כאשר לפני כל הטלה בוחרים מטבע באקראי (פעמיים) .בשני
המקרים ההטלות ב"ת .נחשב את התוחלת והשונות של המשתנים.
oעבור ,מקבלים:
(
)
)
o
))
(
)
( (
)
(
))
(
)
( (
)
(
עבור ,ההסתברות של עץ בהטלה הראשונה היא
היא ))
o
(
)
(
)
(
(
(
] [ ו)) -
ו-
כלומר ,התוחלת בשני המקרים זהה ,אבל השונות של
אינטואיטיבית)
)
)
(
)
(
] [
(
[
]
) (
וכנ"ל גם בהטלה השנייה .לכן אפשר לומר שההתפלגות
()
(
) (
(
גדולה יותר למעט המקרה ש-
.
( .וזה גם מתבקש
התפלגות משותפת והתפלגות שולית
הגדרה :יהיו
(
מ"מ .ההתפלגות המשותפת) :
(
)
)
(
.
כזאת היא אכן פונקציית הסתברות חוקית .כרגיל ,הקושי הוא להראות הסתכמות ל1-
(
צריך להראות ש)-
על כל הערכים ,אבל כאן זה נובע מנוסחת ההסתברות השלמה:
)
שכן הקבוצה }
הגדרה :יהיו
( ∑
)
( ∑∑
)
∑∑
(
{ מהווה חלוקה של .
מ"מ .ההתפלגות השולית של
מוגדרת להיות )
(
∑
)
(
דוגמאות:
מבצעים 3הטלות מטבע הוגן ,נסמן ב -את אורך הרצף הארוך ביותר ,וב -את מספר הראשים שהתקבלו.
oנצייר את זה בטבלה:
) (
.
מסובבים שני סביבונים ,נסמן ב -התוצאה המקסימלית וב -התוצאה המינימלית.
oנצייר את ההתפלגות המשותפת בטבלה:
) (
) (
o
כעת קל לחשב את התוחלת של כל משתנה באמצעות ההתפלגויות השוליות.
נסתכל על פונקציה של משתנים מקריים ,למשל
) ( ) (∑
(
פונקציית התפלגות) ,
של משתנה מקרי יחיד ,גם כאן מתקיים ) (
להכללה למספר סופי כלשהו של משתנים מקריים.
מ"מ .גם למ"מ החדש ניתן לבנות
כאשר
) ( .כמו כן ,בדומה למה שראינו עבור תוחלת של פונקציה
)
∑ ] [ ; כמובן ,תופעה זו ניתן
( ∑ ∑ ) (
משתנים מקריים ,אזי ] [
טענה (ליניאריות התוחלת) :יהיו
] [
[ .
]
הוכחה :נחשב ישירות:
)
] [
] [
) (
(
∑∑
∑
) (
)
(
∑
)
)
∑∑
(
(
)
(∑ ∑
(
∑ ∑
)
∑ ∑
]
[
כנדרש∎ .
את הטענה הזאת אפשר להכליל באינדוקציה על מספר סופי כלשהו של משתנים מקריים.
דוגמאות:
אנשים זורקים לאוויר את כובעיהם וכל אחד תופס כובע באופן אקראי .מה תוחלת מספר האנשים שיקבלו את הכובע שלהם
בחזרה?
oנסמן ב -את מספר התופסים את הכובע שלהם .נפרק את המ"מ המורכב הזה לסכום של משתנים מקריים מציינים -
מקבל 0אם האיש ה -תפס את כובעו ,ו 4-אחרת .כעת:
∑
)
נשתמש בליניאריות התוחלת כדי לחשב את התוחלת של מ"מ בינומי) ,
אחד מ -ניסויי ברנולי ,ומליניאריות התוחלת מקבלים:
))
(∑
] [ ∑
(
(∑
] [ ∑
(
]
∑[
] [
.נפרק את המ"מ המורכב למ"מ מציינים עבור כל
]
∑[
] [
חברת קורנפלקס יוצאת במבצע שבו בכל חבילה שמים תמונה של אחד מ 044-הספורטאים הגדולים בכל הזמנים באופן אחיד .כמה
קופסאות בממוצע נצטרך לקנות כדי להשלים את סדרת 044הספורטאים?
o
o
נסמן ב -את המ"מ הזה ורוצים לחשב את תוחלתו .נפרק אותו למ"מ
לקנות עד שקיבלנו את התמונה ה , -כולל הקופסא האחרונה .מתקיים:
מתפלגים גיאומטרית ,בפרט) :
ניתן לראות בבירור ש-
– מספר הקופסאות הנוספות שהיה עלינו
∑.
(
.לכן נוכל לחשב את התוחלת כולה
באמצעות התוחלת של כל אחד מהמ"מ הגיאומטריים:
(
)
] [ ∑
∑
] [
נניח שמטילים קוביה עם פאות ,כשלפאה ה -הסתברות .נסמן ב -את מספר הפעמים שיצאה הפאה ה-
(
ב -הטלות .רוצים להסתכל על ההתפלגות המשותפת) :
.ברור שיש תלות ביניהם :ה-
ערכים הראשונים קובעים את הערך האחרון .זה נקרא התפלגות מולטינומית ומתקיים:
)
)
(
(
יתר על כן ,אפשר עכשיו לכתוב את ההתפלגות השולית של משתנה מסוים:
(
)
) (
∑
ההתפלגות הזאת היא התפלגות בינומית – על כל משתנה אפשר לחשוב כהצלחה/כישלון בבחירת .כלומר,
(
זהו ניסוי שבו או שיוצא או שלא ,ולכן זו התפלגות בינומית) :
.
התפלגות מותנית של משתנים מקריים
הגדרה :יהי
מ"מ ו -מאורע ,נגדיר
(
)
) |
) (
) (
(
ההתפלגות המותנית של
|
בהינתן המאורע .
כצפוי ,זוהי אכן פונקציית התפלגות חוקית (יש לבדוק זאת – נובע מנוסחת ההסתברות השלמה שכן }
{
זוהי חלוקה של ).
הגדרה :יהיו
המותנית של
מ"מ ,נגדיר
(
)
)
)
(
(
)
)
(
|
(
)
(
|
ההתפלגות
בהינתן .
)
(
( )
( ,שזהו חוק הכפל (או חוק השרשרת) עבור
|
בניסוח אחר) :
משתנים מקריים .באופן דומה אפשר לקבל גם את נוסחת ההסתברות השלמה:
)
|
( )
( ∑
)
( ∑
)
(
דוגמאות:
פעמים ,עם הסתברות הצלחה
בכל ניסיון .מה התפלגות מספר הניסיונות בהינתן שעבר בסופו
סטודנט ניגש למבחן לכל היותר
של דבר?
.
oנסמן ב -את מספר הניסיונות עד להצלחה( ) ,
oבעצם אנחנו שואלים מה התפלגות מספר הניסיונות בהינתן שלא נבחן יותר מ -פעמים .נסמן ב -את המאורע ש-
וכעת ניתן למצוא את ההתפלגות המותנית המבוקשת:
,
)
)
)
()
(
(
(
)
(
)
) (
∑
) |
{
) (
(
מרצה מפוזר טועה בתשובה לשאלות תלמידים בסיכוי 4.25ללא תלות בשאלות קודמות .בכיתה הוא נשאל ,0 ,4או 2שאלות בסיכוי
אחיד – .מספר השאלות שנשאלו – ,מספר השאלות שנענו לא נכון .רוצים למצוא את ההסתברות לְטעּות אחת לפחות.
oנכתוב התפלגות משותפת בטבלה:
) (
)
( .
(
oואנו יכולים כבר אחרי השורה הראשונה להשיב ש)-
,באופן ב"ת בשידורים קודמים .נגדיר
משדר שולח 0בהסתברות ו 4-בהסתברות
.מה ההתפלגות של ה-0-ים ביחידת זמן?
) (
oנסמן ב -את מספר ה-0-ים ,מספר ה-4-ים ונחשב את ההתפלגות המשותפת:
)
(
|
( )
)
)
)
(
)
o
הגדרה :יהיו
)
∑
(
( (
))
(
∑
)
(
)
)
(
)
)
(
(
|
(
∑
) |
(
∑
] | [
)
(
)
(
) .לבסוף קיבלנו ש)-
(
| [
]] | [
הוכחה :נפתח ישירות:
) ( ) |
]] | [
[
] | [ ) ( ∑
( ∑ ∑
) |
)
(
(
∑
] [
∑) ( ∑
כנדרש∎ .
טענה (נוסחת התוחלת השלמה עבור משתנים מקריים) :יהיו
הוכחה :שוב נפתח ישירות:
,מה
מוגדרת להיות:
חלוקה של .אזי ] [
טענה (נוסחת התוחלת השלמה עבור מאורעות) :תהי
(
(
∑
(
או
]
)
)
( ∑
(
(במקרה הזה) ,
מ"מ ו -מאורע .התוחלת המותנית של
(
)
בהינתן
(
)
∑
(
כאשר כאן המעבר האחרון היה לפי טור טיילור של
שדי סביר אינטואיטיבית.
)
(
)
– מספר השידורים ליחידת זמן ,וידוע ש-
מ"מ .אזי ] [
]] | [
[
.
[ .
)
(
|
∑)
)
( ∑
|
( )
]] | [
( ∑ ∑
]
[
)
( ∑
| [ )
( ∑
] [
כנדרש∎ .
הסימון המעט-מבלבל ]] | [ [ בסה"כ אומר שאנו מגדירים פונקציה ] | [
) ( ,שהיא בעצמה מהווה
| [
משתנה מקרי .הפונקציה עבור מסוים נותנת מספר] :
) ( ,שזו תוחלת מותנית של מ"מ .כיוון
ש -בעצמה משתנה מקרי ,ניתן לחשב את התוחלת שלה (ע"פ ערכי ).
הגדרה :מ"מ
ייקראו בלתי-תלויים אם לכל
מ"מ .המ"מ
הגדרה :יהיו
(
|
( )
|
)
( )
מתקיים )
ייקראו בלתי-תלויים בהינתן
|
)
( .
(
אם לכל
)
( .
מתקיים
דוגמאות:
כותבים תרגיל תכנות שוב ושוב שבכל פעם הוא עובד בהסתברות
שנעבוד על התרגיל עד שנצליח?
o
(באופן ב"ת בניסיונות הקודמים) .מהו מספר הפעמים הממוצע
ראינו כבר שמדובר בתוחלת של מ"מ גיאומטרי( ) ,
]
] [
| [ )
,שהיא .נפתח את זה בדרך אחרת:
(
)] [
] [
]
| [ )
(
( )
(
] [
] [
o
בדרך השתמשנו בתכונת חוסר הזיכרון של מ"מ גיאומטרי ,שבגללה ] [
מ"מ שהוא ההסתברות שהשמש זורחת מחר (אחיד ,עם תומך }
יהי
| [ .
]
{) ו -מ"מ הסופר את מספר הזריחות ב044-
הימים הקרובים אז:
(
) o
] | [ (תוחלת של מ"מ בינומי).
,ומתקיים
oכעת אפשר להשתמש בנוסחת התוחלת השלמה ולקבל:
∑
בכד 3כדורים ממוספרים .מוציאים 2כדורים ללא החזרה,
)
o
o
]
| [ )
(
( ∑
– הכדור הראשון,
]] | [ [
] [
– הכדור השני .ניתן להראות שמתקיים
) .
נכתוב טבלת התפלגות משותפת כדי לראות האם המ"מ בלתי-תלויים:
...ורואים מכאן שהמ"מ אינם ב"ת ,כי קביעת ערך של
) למין הנבדק (
מתעניינים בקשר בין נוכחות וירוס (
oנסתכל על שתי קבוצות נבדקים:
ב'
א'
).
משפיעה על ההסתברויות של .
(
oבקבוצה א' המשתנים אינם ב"ת; בקבוצה ב' המשתנים אכן ב"ת.
מטילים מטבע עם הסתברות לעץ עד לקבלת עץ בפעם הראשונה .לאחר מכן מטילים שוב את אותו מספר הטלות וסופרים כמה עץ
יצא .מה ההסתברות שלא יצא עץ בכלל בסיבוב השני?
.נסמן גם – מספר ההטלות בסיבוב השני ,וכאן יש תלות בין
oנסמן – מספר ההטלות בסיבוב הראשון( ) ,
.
(
| ,כלומר )
(
המשתנים) :
( :
oכעת אנו מחשבים את )
)
o
)
(
(∑
( )
)
|
( ∑
( ∑
)
(
)
אם התקבלו 4עצים בסיבוב השני ,מהי ההסתברות שמספר הניסיונות היה ?2כאן עלינו להשתמש בכלל בייס על
מאורעות:
(
|
( )
( )
( )
)
(
|
)
(
)
יהיו ) (
באופן בלתי תלוי בציפורים
בלהקה יש ציפורים .בכל יחידת זמן כל ציפור הולכת לאכול בהסתברות או לשמור בהסתברות
האחרות .בכל יחידת זמן מופיע נץ ואם אין אף ציפור במשמר ,אוכל ציפור אחת .מה תוחלת אורך החיים של הלהקה?
oנסמן – מספר יחידות הזמן עד להיכחדות הלהקה( .כיוון שלא בוקעים גוזלים חדשים ,הזמן הזה סופי).
ציפורים ל -ציפורים.
oנסמן גם – מספר יחידות הזמן עד שהאוכלוסיה עוברת מ-
oההסתברות שציפור מסוימת תיאכל ביחידת זמן מסוימת כשיש ציפורים היא ,וזה חוזר על עצמו באופן ב"ת כל יום,
∑
(
ולכן )
ולכן ניתן לחשב את התוחלת ישירות:
.כמו כן,
.אזי ))
) (
)
(
()
) (∑
(
(
.הוכחה :בתרגיל .5
∑
] [ ∑
מ"מ .הם ייקראו בלתי-תלויים אם ) (
הגדרה :יהיו
] [
∏
(
)
.
נשים לב שעבור מ"מ זה מספיק ,בניגוד למאורעות – שם היינו צריכים לדרוש אי-תלות על כל תת-קבוצה של
המאורעות .הסיבה לכך תתבהר מהמקרה הפרטי הבא ,שאפשר להכלילו באמצעות אינדוקציה:
טענה :אי-תלות בשלשות גוררת אי-תלות בזוגות.
( )
הוכחה :נתון ש)-
על פני ערכי :
המ"מ
)
( )
)
(
( )
( )
( )
( ∑
(
)
( .נתבונן בהסתברות השולית של
)
( ∑
)
( ∑)
( )
(
)
(
באופן דומה מקבלים את התוצאה עבור כל זוג אחר של מ"מ∎ .
דוגמאות:
מ"מ גיאומטריים בלתי-תלויים עם פרמטר .מהי ההתפלגות )
oנחשב אותה:
)
(
)
(
)
(
)
( )
( )
)
(
)
(
)
(
)
|
(
(
( ?
)
|
(
(
)
)
o
כעת נשים לב ש-
o
וכאן הגורם בתוך הסכום הוא קבוע ,ויש
(
)
)
o
∑
|
|
גורמים כאלה ,ולכן ההסתברות שחיפשנו שווה בדיוק ל-
לכל .
] [
| ,וכן
] | [ (משתנה בינומי עם פרמטר ).
כעת נשתמש בנוסחת התוחלת השלמה:
] [
)
( ∑
.בשלה ,2
בהסתברות לאו דווקא אחידה ,אבל יודעים את ] [
מספר טבעי .בשלב 0מגרילים מתוך
נתון
.
איברים ללא החזרה בהסתברות אחידה ,ונסמנם .נסמן גם – מספר האיברים ב -שהם ב-
דוגמים מתוך
) מ"מ המקבל 0אם המספר ה -שנבחר הוא ב-
oנמצא את התוחלת של :בהינתן ,נסמן (עבור
ו 4-אחרת .מתקיים
(
∑
(
]
]]
[
[
]] |
[
]] | [ [
∑[ [
] [
oכעת בהינתן ,נמצא את ההתפלגות של .זוהי התפלגות היפר-גיאומטרית :יש שני סוגים של איברים ( 0,2,3וכל השאר),
(
מוציאים איברים ושואלים מה ההסתברות ש -מתוכם הם מהסוג הראשון .כלומר) ,
.
(.)xor
נבצע שתי הטלות של מטבע הוגן באופן ב"ת – ,ההטלה הראשונה – ,השנייה .נגדיר
,כלומר מתקיימת אי-תלות בזוגות.
ב"ת מהנתון ,אבל אפשר לראות גם ש-
oברור ש-
קובעים את ערכו של .
oעם זאת ,בשלשה המ"מ אינם ב"ת ,וזה ברור -
עצים .מהי תוחלת מס' ההטלות?
מטילים מטבע שהסתברותו לעץ היא ,עד שמתקבל רצף של
.כעת נסתכל על
(
oנסמן את מספר ההטלות ,מספר ההטלות עד שהתקבל פלי (לראשונה) .כמובן) ,
התוחלת באמצעות נוסחת התוחלת השלמה:
) (
o
| [ )
]
( ∑
,אז
זאת משום שאם
מה שקיבלנו לשני סכומים:
)
o
]] | [ [
על התוחלת המותנית אנו יכולים לומר את הדבר הבא:
]
{
o
] [
(
] [
] [
ניסיונות כבר קרו ,ועכשיו שוב ממשיכים עם
] [ )
)
(
כך נוכל לחשב גם את השונות ,שכן
מ"מ ב"ת .אזי ] [ ] [
טענה :יהיו
| [
] )
]
([
(
{
)
∑
]
|
כאילו שחזרנו להתחלה .לכן אפשר לפרק את
()] [
(∑
) (
[ .
[ .
הוכחה :נוכיח ישירות:
)
( )
(
∑ ∑
] [ ] [
(
)
] [ )
)
∑ ∑
(
∑
)
(
(
∑)
∑∑
(
]
[
∑
כנדרש∎ .
כמובן ,ניתן להכליל את הטענה לגבי הפעלת פונקציות כלשהן על המ"מ ,כלומר על ) ( ) ( (הפעלת פונקציה
על מ"מ לא יכולה לגרום לו להיות תלוי במ"מ אחר).
) (
מ"מ ב"ת .אזי ) (
טענה :יהיו
(
)
.
הוכחה :באמצעות הטענה הקודמת:
] ))] [
)] [
(
] )] [
([
] )] [
) (
) (
] ))] [
(([
] [ (
)
)
(([
)] [
()] [
( )] [
(
] )] [
([
()] [
])] [
[ ]] [
]] [
) (
) (
[
(
([
([
כאשר בדרך השתמשנו באי-תלות כדי לפתוח את התוחלת של המכפלה∎ .
כמובן ,גם טענה זו ניתנת להכללה (באמצעות אינדוקציה) למספר סופי כלשהו של מ"מ ב"ת.
דוגמאות:
באמצעות הטענה הקודמת:
.נחשב את ) (
(
יהי )
∑
בלתי-תלויים כולם.
כאשר ) (
oנסמן
oכעת אפשר מיידית להגיע לתוצאה – שהיינו צריכים נגזרות של טורים כדי לקבל ,בהוכחה המקורית:
)
(
)
)
(
(∑
[ (∑
∑(
נניח שיש מחוזות בחירה ואחוז התמיכה במועמד מסוים במחוז ה -הוא .אנו מבצעים סקר ובו שואלים נסקר אחד מכל מחוז.
∑
.המטרה היא להקטין את השונות של
נסמן מ"מ מציין המקבל 0אם הנסקר תמך במועמד ו 4-אחרת .נסמן גם
תכנון המחוזות – האם כדאי שכל ה -יהיו קרובים זה לזה ,או שיהיו שונים זה מזה?
∑ ] [
∑ ] [
( .אנו מניחים שהמחוזות ב"ת).
oנסמן
oכעת אפשר לחשב את השונות:
∑
o
∑
o
)
∑
(
) (
∑
∑
ע"י
) (
החלק שאפשר להשפיע עליו הוא הגורם השני – ככל שהוא קטן יותר ,זה יקטין את השונות .ובכן:
)
) ] [
]
) (
∑
)
) (
) (
(∑
∑
הביטוי השמאלי כאן מגיע למינימום כאשר
)
∑
(∑
לכל ,ואז השונות היא מקסימלית! כלומר ,כדי לקבל שונות מינימלית
צריך מחוזות הטרוגניים.
בעקבות התחרות החדשה (רמי לוי) ,סניפי אורנג' רוצים להתאחד .ידוע כי בכל סניף מספר הלקוחות היומי
פרמטר באופן ב"ת בסניפים האחרים .נתעניין במספר הלקוחות בסניף המאוחד ,שנסמנו :
∑ ] [ .
∑ ] [
oראשית נמצא את התוחלת:
ואפשר להכליל אחר כך לערכים
oנפתח את פונקציית ההתפלגות לסניף המאוחד – לצורך הנוחות נסתכל כרגע על
גדולים יותר באמצעות אינדוקציה:
(
)
(
)
)
(
)
((
מתפלג פואסון עם
)
)
(
∑
)
(
( )
)
(
( ∑
∑
)
)
(
( ∑
)
∑
(
()
)
o
o
)
,מה שיהיה נכון גם עבור
(
כלומר ,קיבלנו ש)-
ואז:
,מהי התפלגות ? בה"כ
כעת ,בהינתן
)
(
( )
(
)
(
)
(
סניפים.
(
(
)
)
(
)
|
(
(
)
)
)
)
(
( )
()
)
(
(
()
)
∑
∑
)
o
וכעת אם נסמן
,אז מקבלים ש) -
∑
(
(
(
( )
∑
() (
( .במובן מסוים ,זה אינטואיטיבי :יש לנו
|
לקוחות ואנו
רוצים לדעת כמה מהם באו לסניף הראשון .ההגעה של לקוח מסוים לסניף הראשון היא ניסוי ברנולי והפרמטר שקיבלנו, ,
מייצג את היחס בין "משקל" הסניף הראשון למשקל כל סניפים ,כלומר חלקו היחסי של הסניף הראשון בעומס הלקוחות).
משתנים מקריים רציפים
)
הגדרה :מ"מ רציף הוא פונקציה
,כך שקיימת פונקציה ) ( המקיימת ) ( ∫
הנקראת פונקציית צפיפות הסתברות (באנגלית ,)PDF, Probability Density Function :והמקיימת את האקסיומות
הבאות:
) (
()0
( ,
לכל
) (
( )2מתקיים
בדרך כלל הקבוצה
∫
| | קטן ,ניתן
תהיה קטע או איחוד של מספר קטעים .נשים לב שכאשר גודל הקטע
) (
לקרב את האינטגרל (ולכן את ההסתברות) באמצעות ) (
∫.
כמו כן ,כיוון שאינטגרל של פונקציית הצפיפות נותן את פונקציית ההסתברות ,מתבקש להסתכל על הנגזרת של
פונקציית הסתברות מסוימת – שתיתן פונקציית צפיפות.
)
( ,כלומר אין יותר צורך לדון במה שקורה בקצוות הקטע –
(
לבסוף ,מתקיים )
האינטגרל יקבל אותו ערך על קטעים פתוחים או סגורים.
הגדרה :מ"מ רציף אחיד על קטע ]
[ מסומן )
(
והוא בעל פ' צפיפות
) ( .
דוגמאות:
] [
תהי
] [
עבור כל קטע אחר.
זמן נסיעתו של משה לעבודה מתפלג אחיד בין 05ל 24-דקות ביום שמש ובין 24ל 25-דקות ביום חורף (ההסתברות ליום חורף
{
) ( .מהתכונה השנייה מתקיים
) (
∫
,כלומר הקבוע נכפה עלינו .המצב יהיה דומה
היא ) .מה פ' הצפיפות של זמן הנסיעה?
{
o
ברור מהנתונים שהפונקציה נראית כך:
o
כדי למצוא את הקבועים ,ניזכר בכך שהאינטגרל של
) ( .
על הקטע הראשון (יום שמש) הוא ועל הקטע השני הוא .
תוחלת של משתנה מקרי רציף
הגדרה :אם
מ"מ רציף ו-
פונקציית הצפיפות שלו ,התוחלת שלו היא:
באופן דומה ,לכל פונקציה של מ"מ
הגדרה :אם
מ"מ רציף ו-
,
) ( ) (
∫
) (
∫
] [ .
]) ( [ .
פונקציית הצפיפות שלו ,השונות שלו היא:
) (
)] [
( ∫
) (
.
] [
כמו עבור מ"מ בדידים ,גם כאן נכון ש[ ] -
) (
.למעשה ,רוב התכונות של תוחלת ושונות
(למשל ,ליניאריות) מתקיימות גם במקרה הרציף ולא נוכיח אותן או נזכיר אותן בנפרד.
דוגמאות:
,נחשב את התוחלת והשונות שלו:
(
יהי )
oהתוחלת:
] [
o
∫
השונות:
]
)
] [
[
]
∫
(
[
) (
נשים לב שהתוחלת לא תמיד קיימת .למשל ,יהי
) ( .זוהי אכן פונקציית
,כלומר בעל פונקציית צפיפות:
צפיפות חוקית ,האינטגרל על כל הישר הוא .1לעומת זאת ,התוחלת לא קיימת ,כלומר האינטגרל הלא-אמיתי
,לא מתכנס ,ואפילו לא ניתן לומר אם הוא
∫
,כי זה מושפע מסדר האינטגרציה .לעומת
או
,ולכן אפשר לומר שהתוחלת קיימת והיא אינסוף.
זאת [| |] ,זהו אינטגרל שעדיין לא מתכנס ,אבל בבירור שואף ל-
]|) ( |[ .
באופן כללי נוכל לומר ש [ ( )]-קיימת וסופית אםם
הגדרה :עבור קבוע
,ו 4-אחרת.
עבור
,מ"מ אקספוננציאלי (מעריכי) מסומן ) (
והוא בעל פ' צפיפות
)
נראה שזו פ' צפיפות – האי-שליליות ברורה ,וההסתכמות ל:1-
) (
(
]
∫.
[
המ"מ הזה ,כפי שתיכף נראה ,מזכיר מ"מ גיאומטרי מבחינת היחס של התוחלת שלו לפרמטר.
טענה :יהי ) (
,אזי
] [ ו-
) (
.
הוכחה :נחשב ישירות באמצעות אינטגרציה בחלקים:
]
∫
[
)
( ∫
]
]
[
[
()
)
()
)
) (
( ∫
( ∫
∫
] [
∫
]
∫
) (
כנדרש∎ .
טענה (תכונת חוסר הזיכרון) :יהי ) (
הוכחה :בפתרון תרגיל ∎ .6
,אזי )
(
)
|
( .
) (
[
פונקציית התפלגות מצטברת
הגדרה :יהי מ"מ עם פ' צפיפות ) ( ,לפונקציה
(
∫ )
) (
) ( ( .באנגלית)CDF, Cumulative Distribution Function :
הבאה נקרא פונקציית ההתפלגות המצטברת של :
מתקיים ,כמובן ,הקשר בין אינטגרל לנגזרת:
()1
()2
()3
()4
()5
) (
) (
) (
∫
) ( לא יורדת
) (
מתקיים
) (
מתקיים
) ( רציפה מימין ,כלומר ) (
) (
) ( .כמו כן ,מתקיימות עוד מספר תכונות חשובות:
(
)
(
)
לכל
דוגמאות:
פונקציית הצפיפות המצטברת של מ"מ אחיד )
הציונים ,ונסמן
מותר לגשת למבחן 3פעמים והציון יהיה המקסימום מה .3-יהיו
מתפלגים אחיד (בדיד) בין 0ל 04-ובלתי-תלויים ביניהם .השאלה :מה ה CDF-של ?
oנכתוב במפורש:
(
היא:
) (
{
)
(
)
)
(
(
)
o
מסקנה כללית :לכל
)
(
)
(
)
,וכן נניח שהציונים
(
(
) (
) (
(
)
) (
מתקיים( ) :
קבוצת מ"מ ב"ת ו-
) (
.
פונקציית התפלגות מצטברת מאפשרת לערבב משתנים מקריים בדידים ורציפים ,כי היא מאפיינת את כל המקרים .למשל ,יהיו שני
.
ב"ת ,ונגדיר
ו( )-
מ"מ ) (
oנמצא את ה CDF-שלו:
)
{
o
)
כעת נתבונן על האפשרויות האמצעיות:
)
(
)
(
(
)
(
)
)
(
)
(
)
(
)
)
(
)
(
(
)
)
(
(
)
)
)
( )
(
(
(
(
)
(
)
(
oהמ"מ שקיבלנו ( ) אינו רציף ואינו בדיד.
מ"מ רציפים בלתי-תלויים שווי התפלגות עם פ' צפיפות ) ( .
יהיו
o
(
)
(
(
)
(
)
( )
) (
אם
אז )) (
) (
(
אז )) (
oאם
oהוכחת שתי הטענות – בפתרון תרגיל .8
∑(
מ"מ ב"ת ,אזי )
יהיו ) (
טענה :יהי
מ"מ רציף אי-שלילי ,אזי
הוכחה :תמיד מתקיים ש( )-
)
) (
(
.
.הוכחה – בפתרון תרגיל .8
(
) (
.
] [ .
∫
∫
)
( .לכן נסתכל על האינטגרל הכפול שלפנינו:
) (
] [
∫
) (
) (
∫
) (
∫ ∫
)
∫ ∫
(
∫
כאשר בדרך נדרשנו להחליף את סדר האינטגרציה∎ .
נקרא משתנה מקרי נורמלי )
הגדרה:
(
אם פונקציית הצפיפות שלו היא
)
(
√
) ( .
יש להראות שזו פונקציית צפיפות חוקית ,כלומר שהאינטגרל שלה על הישר הוא .1זה לא אינטגרל פשוט ,אבל
נשתמש בעובדה זו בהמשך כדי לפשט חישובים אחרים .כמו כן נשים לב שהפונקציה הזאת סימטרית ,כלומר
.
) ( לכל
) (
(
טענה :יהי )
] [ .
.אזי
הוכחה :נחשב את האינטגרל:
∫
√
כאשר במעבר האחרון השתמשנו בכך שהפונקציה ) (
ובכך שבגורם הימני יש לנו אינטגרל של פ' צפיפות של )
(
טענה :יהי )
.אזי
√
∫
√
) (
)
(
√
∫
] [
∫
היא אי-זוגית ,ולכן האינטגרל שלה על הישר הוא ,0
( ∎.
.
הוכחה :אינטגרציה בחלקים∎ .
נקרא משתנה נורמלי סטנדרטי ,וה CDF-שלו מסומנת ) ( .עבור
הגדרה :מ"מ ) (
)
( .
ב -את הערך המקיים
טענה :אם )
(
אז )
(
נסמן גם
.
הוכחה :בפתרון תרגיל ∎ .7
דוגמאות:
דרך ערוץ עם רעש )
רוצים לשדר מסר
אז ) (
oטרם הוכחנו ,אבל אם
o
,כלומר המקלט רואה
.
{
המקלט מחליט על האות שנשלח כך:
)
o
(
.
(
המספר שהתקבל הוא ערך של ה CDF-של )
)
(
) ( .מה הסתברות השגיאה כאשר שולחים את האות "?"1
(
,כלומר )
)
( .
(
מ"מ רציפים במשותף
הגדרה :מ"מ
כאשר
נקראים רציפים במשותף אם לכל
)
מתקיים:
(
∬
)
)
(( ,
נקראת פונקציית הצפיפות המשותפת שלהם.
פונקציית הצפיפות המשותפת ( )Joint Probability Density Functionמקיימת את התכונות הבאות:
( )1לכל
)
מתקיים
( )2מתקיים
)
(
(
∫
הגדרה :פונקציית הצפיפות השולית של
∫
אם
)
רציפים במשותף היא
( מ"מ .הפונקציה )
הגדרה :יהיו )
(.)Joint Cumulative Distribution Function
)
(
(
(
∫
) ( .
נקראת פונקציית הצטברות משותפת
(
)
) (
( רציפים במשותף ,מתקיים
כאשר )
∫ ∫
(
∑ )
∑
) (
.אפשר לדבר על JCDFגם על וקטורים מקריים שאינם רציפים במשותף
ואינם בדידים במשותף.
.כאשר המ"מ בדידים ,מתקיים
דוגמאות:
פונקציית הצפיפות המשותפת של
)
היא
(
)
{
(
,כאשר הקבוצה
היא שני המלבנים האדומים בציור
הבא:
4
3
𝑆
2
1
3
o
2
1
ניתן לחשב מכאן את ערכו של :
()
)
(
o
כעת ניתן לחשב הסתברות של תת-קבוצה מסוימת:
o
וניתן גם למצוא את ההסתברות השולית של :
] [
()
)
)
]
[
(
)
)
(
∬
(
∫
) (
] [
{
המחט של בופון – דוגמה שניתנה בכיתה ,אבל אפשר למצוא הסבר מלא בוויקיפדיה.
( רציפים במשותף?
.האם )
ונגדיר
יהי ) (
(
∬
נניח שקיימת פונקציית צפיפות משותפת
)
(( כי
)
הסתברות,
שפונקציה כזו בכלל קיימת.
בכל מקרה ,קיימת פונקציית הצטברות משותפת:
)
(
)
(
)
)
כנדרש מההגדרה .כעת נבחר
o
.מאידך ,האינטגרל על
o
הגדרה :יהיו
(
)
(
)
(
(
)
,אז התוחלת המשותפת על )
מ"מ רציפים במשותף ו-
∬
(
.נשים לב שמשיקולי
הוא 0כי זהו נפח של קו נטול שטח .זוהי סתירה לכך
)
(
( מוגדרת להיות
( [ .
])
ניתן להראות בקלות את כל העובדות שכבר ראינו על תוחלת ,למשל ליניאריות בכמה משתנים ,ועוד.
אפשר גם להכליל את הדיון על וקטור של מ"מ רציפים במשותף) ,
שעבורה לכל
)
מתקיים
(
( ,שאז קיימת פונקציה
∫
)
)
∫
(( .
התניה על מ"מ רציפים
מ"מ רציף ו -מאורע .פונקציית התפלגות מצטברת מותנית של
הגדרה :יהי
להיות ) |
) (
(
|
בהינתן המאורע
,ופונקציית הצפיפות המותנית מוגדרת להיות ) (
) (
ההגדרה נבנתה כך שכעת מתקיים
|
) |
∫
( ,לכל
|
|
.
.
חלוקה של ,אזי ) (
טענה (נוסחת ההסתברות השלמה) :אם
) (
מוגדרת
) (
|
∑
) ( .
הוכחה :ישירות מההגדרה:
}) |
( ) ( ∑{
) (
|
)
) ( ∑
(
}) (
) (
|
) (
) ( ∑{
כנדרש∎ .
עבור
טענה :אם
[
הוכחה :נסמן ]
קטע כלשהו ,אזי
{
) (
|
.
ונפתח מההגדרה:
(
)
)
) (
)
(
(
)
|
) |
(
) (
(
,המנה היא 0ולכן גם נגזרתה .0אם
כעת לפנינו שלושה מקרים .אם
יש לנו משהו מעניין:
שוב .0בחלק
) (
)
(
שזה מה שרצינו∎ .
) (
)
) (
(
[
)]
)
(
(
)]
[
)
) (
|
|
,המנה היא 1ולכן נגזרתה
(
(
ניתן להרחיב את הטענה ל -שמהווה איחוד סופי של קטעים.
דוגמאות:
מגיעים לתחנת הרכבת בין 8:10ל .8:30-הרכבת מגיעה בדיוק בכל רבע שעה ( 8:15 ,8:00וכו') .נסמן את זמן ההגעה מ8:10-
.רוצים למצוא את התפלגות הזמן שנצטרך לחכות לרכבת ,שנסמנו .
(
ב -דקות ונניח )
{
) (
.מהנתון,
o
מתקיים:
o
כעת נוכל לכתוב את פונקציית הצפיפות המותנית:
[
עבור ]
ו 0-אחרת.
) (
{
o
)
( {
) (
|
{
) (
|
עכשיו אפשר לעבור לטפל במ"מ המקורי – נסמן
) ( .נפתח את שני החלקים:
) ( ) ( |
) ( ) ( |
) |
) |
(
(
)
(
))
|
) |
(
(
) (
})
(
|
ולפי נוסחת ההסתברות השלמה מתקיים כאן
(
o
|
{
|
)
זה נותן לנו אפיון מלא של הפונקצייה ,כיוון שאנו יודעים את
) (
|
(
) (
|
|
המותנית.
|] [
כעת אנו רוצים להרחיב את ההגדרה עבור מ"מ ולא מאורעות ,למשל )
( .הבעיה היא
שבהגדרה יש לנו )
( במכנה ,וזהו .0לכן נזדקק להגדרה קצת עדינה יותר ,שיהיה צריך להראות שתמיד
עובדת:
הגדרה :יהיו
)
|
)
(
|
|
מ"מ רציפים ,ההסתברות של
)
|(
|
מוגדרת להיות:
בהינתן
( .
נראה שההגדרה כשרה ,כלומר שהגבול תמיד קיים:
)
(
|
)
(
)
(
∫∫
)
|
)
∫
) (
) (
∫
|
) (
∫
|
)
) (
(
|(
(
)
|
(
∫
) (
של פונקציה רציפה
,האינטגרל על קטע באורך
כאשר כאן היה לנו מעבר שבו השתמשנו בכך שכאשר
מתקרב כדי ) ( ל -כפול ערך הפונקציה במרכז הקטע .כדי להיפטר מ , ( )-ניתן לחלק את המונה והמכנה
ב , -ואז לפי ההגדרה,
) (
.
דוגמאות:
במשחק קליעה למטרה נגדיר )
סביב הראשית ברדיוס .
( מ"מ המייצגים את קואורדינטות הפגיעה של החץ ,ונניח שהם מפולגים יוניפורמית על המעגל
o
כלומר,
o
נמצא את הצפיפות המותנית
{
)
)
(
) (
(
.
)
(
|
,ולשם כך רק צריך למצוא את הצפיפות השולית של :
√
)
√
(
) (
∫
√
שוברים מקל באוך באופן מקרי ואחיד בנקודה מסוימת ,נסמן אורך המקל שנותר .כעת שוברים את המקל שנותר שוב באופן מקרי
.
ואחיד ,ונסמן אורך המקל הסופי .רוצים למצוא את הצפיפות המשותפת
o
ראשית נשים לב ש)-
(
(
) ( .לכן
,כלומר
o
כמו כן) ,
o
כעת אפשר למצוא את ההסתברות השולית של :
)
) ( )
( {
(
)
|
]) (
(
)
) (
(
[
)
)
∫
(
(
|
) (
∫
וכעת אפשר לחשב את התוחלת של ,נשתמש לשם כך שתוחלת מותנית:
] [
o
,וגם
| .כעת מהגדרת צפיפות מותנית אנו יכולים למצוא את הצפיפות המשותפת:
{
o
) (
] [ .
] [
]] | [ [
]] | [
באופן דומה אפשר לחשב את ] [
טענה (חוק בייס הרציף) :יהיו
] | [
מ"מ רציפים ,אזי
)
]] |
[
) (
(
)
(
[ [
|
[ וגם את השונות המותנית.
)
) (
בגרסה אחרת ,אפשר לכתוב במפורש את ההתפלגות השולית של
|
]
]
∫
| [
(
.
|
) (
ולקבל:
)
) (
(
(
)
|
)
∫
|
(
|
דוגמאות:
לנורה יש אורך חיים אקספוננציאלי עם פרמטר ,כאשר )
עכשיו על ?
oנתחיל במציאת הצפיפות המותנית:
(
.בוחנים את המנורה ומודדים אורך חיים ; מה ניתן לומר
(
o
) ( )
) (
) (
כעת אפשר למצוא את המקסימום של הפונקציה כדי לראות מה ה -הסביר ביותר בהינתן
]
טענה (כלל בייס המעורב) :יהיו
[
מ"מ בדיד,
])
|
(
)
(
|
)
[
מ"מ רציף ,אז מתקיים:
)
(
(
( )
שקיבלנו מהמדידה:
|
|
)
) (
(
.
|
הוכחה :באופן דומה למה שעשינו עבור שני מ"מ רציפים:
(
)
)
) (
)
) (
)
(
( )
) (
(
|
|
|
)
)
(
|
( )
) (
)
)
|(
(
|
∫
∫
( )
) (
כשגם כאן השתמשנו באותו רעיון של אינטגרל על קטע מצטמצם סביב נקודה∎ .
(
|
(
|
.
( )
הערה :אפשר לכתוב את המכנה בעזרת נוסחת הסתברות שלמה) :
להימנע מהצורך לחשב ישירות את הצפיפות השולית.
מ"מ בדיד,
טענה (כלל בייס המעורב :)2 ,יהיו
(
) (
מ"מ רציף ,אז מתקיים:
) (
הוכחה :בפתרון תרגיל .7במכנה מופיעה ,למעשה ,ההסתברות השולית ) (
∑
|
)
)
(
) ( ,כדי
|
( |
)
∫
(
.
|
∎.
דוגמאות:
יהי ) (
יהי ) (
(
ו)-
)
| ,ומחפשים את )
(
:
|
)
(
)
)
(
( )
(
( )
(
|
(
|
)
|
)
( )
( )
)
)
o
(
( )
)
(
|
( )
)
(
)
( |
{
(
ו)-
)
הצפיפות
פונקציית
את
מחפשים
.
|
|
(
)
)
)
(
|
)
(
( |
( |
(
)
(
)
) ( )
(
()
)
( |
(
()
)
(
)
(
)
(
()
)
∫
∫
|
כאשר כאן המעבר האחרון הוא שלב חישובי לא מעניין ,והמעבר המסומן נובע מזהות (חוק בייס המעורב – מהצד
השני) שראינו בתרגיל.
(
הגדרה :תוחלת מותנית של מ"מ רציפים
הגדרה :מ"מ רציפים
מוגדרת ע"י
(
)
נקראים בלתי-תלויים אם ) ( ) (
|
{
:
∫
|
)
(
|
(
| [ .
]
.
מהגדרה זו אפשר לקבל גם הסתברות משותפת:
) (
∫) (
∫
)
) ( ) (
( )
(
)
∫∫
)
) (
(
) (
∫( )
ולכן האי-תלות שקולה בהגדרה גם לגבי התפלגות מצטברת משותפת( ) :
טענה :מ"מ
הם בלתי-תלויים אםם לכל זוג פונקציות
)
∫∫
(
∫(
)
) (
מתקיים ]) ( [ ]) ( [
(
.
]) ( ) ( [ .
הוכחה :בפתרון תרגיל ∎ .0
דוגמאות:
בהתקפת קניות שולה מבקרת במספר מקרי של חנויות ,ובחנות ה -מבזבזת סכום מקרי .נניח ש -הוא שלם חיובי עם
פונקציית התפלגות ידועה ו -כולם בעלי אותה תוחלת ושונות ,וכל המ"מ בשאלה ב"ת .מהי תוחלת ושונות עלות מסע הקניות?
∑
.כאן מתקיים:
oנסמן ב -את סך הכסף ששולה הוציאה,
] [ ∑
]
| [ ∑
] [
]
]
|
[
∑[
]] | [ [
]
] [
| [
| )
]
( ∑
([ )
]
[ )
( ∑
(
]
המעבר הזה נכון כיוון שהמ"מ כולם אותו דבר ,ויש לנו רק שני סוגים שונים של גורמים – ריבועים של אותו מ"מ ,ומכפלות
.אפשר להמשיך מכאן:
כאן ב"ת אםם
של שני מ"מ שונים .בשני המקרים תוחלות שונות כי
o
)
]
)
|
[ )
( ∑
[
(
)
( ∑
()
) (
יהיו שני מ"מ ) (
oנמצא את ההתפלגות שלו:
(
)
|
]]
( [
)
ב"ת ,ונסמן
]
[ [)
.
(
)
)) (
|
( ∑
)
( )) (
(
)
(
)
( )
(
) (
(
אפשר גם לבדוק מי המינימום (גם כאן משתמשים באי-תלות):
o
(
)
) (
∫
(
)
) (
)
)
∫ ∫
טענה (נוסחת השונות השלמה) :יהיו
)
(
∫
]) | (
[
) (
( ∫
מ"מ .אזי )] | [ (
(
∫ ∫
)
(
.
הוכחה :בפתרון תרגיל ∎ .7
דוגמאות:
יהיו )
(
ו)-
(
| .
) ] [
o
נחשב את התוחלת:
o
נחשב את השונות המותנית:
] | [
] |
[
(
) (
]
] |
[
[
]] | [ [
] [
] | )
o
∫
[
) | (
] |
[
|
]
] |
[
[
לבסוף ,נציב בנוסחת השונות השלמה:
)
o
[
([
) | (
נחשב את התוחלת המותנית של המומנט השני:
]
o
] | )] | [
([
] |
] [
(
]
[
)] | [ (
]) | (
[
) (
מציאת הערכים האלה כרוכה בחישוב אינטגרלים קצת לא סימפטיים ,ובכל מקרה בסוף מקבלים מספר.
טרנספורמציות על משתנים מקריים
,ונתונה ) ( .רוצים למצוא את ) (
יהיו מ"מ( ) ,
) ( (
) ( ∫ )
ההתפלגות המצטברת( ) :
וכל מה שנובע מזה .כדי לעשות זאת ,נעבור דרך
(
)
) ( .במקרים מסוימים ,זה יהיה
מספיק פשוט כדי שנוכל לחשבו ,לגזור את התוצאה ולהגיע ל. ( )-
דוגמאות:
יהיו )
משה נוסע מרחק של 170ק"מ במהירות קבועה )
כמ"מ ?
oכמו קודם ,נעבור דרך פונקציית ההתפלגות המצטברת:
(
.נמצא את ) ( :
ו√ -
)
(
(
)
)
(
})
{
(
(
)
יהי
יהיו )
(
)
(
}
(
{
) (
(
})
) (
{
) ( .
כלומר ,עבור הערכים המעניינים של ,מקבלים
o
) (
.מה פונקציית הצפיפות של משך נסיעתו של משה ,שנסמנה
)
{
) (
)
√(
(
) (
ונתונה ) ( .כאן מתקיים ,באופן כללי:
) √
)
√ (
)) √ (
ו√| |-
(
) √( (
(
)
}) √ (
√
) (
) (
{
) √(
.הטרנספורמציה הזאת אינה מונוטונית ולכן נצטרך למצוא את מבוקשנו ידנית:
(
)
| |(
)
| |√(
)
(
)
) (
) (
במקרה של טרנספורמציה מונוטונית ממש ,יש ל -הופכית ,ומכך אפשר לקבל נוסחא כללית:
טענה :יהי
מ"מ( ) ,
כאשר
| )) (
מונוטונית ממש .אזי |) (
) ( .
(
הוכחה :נניח ש -יורדת (הכיוון השני סימטרי):
})) (
(
)) (
{
)
(
| )) (
|) (
) ( (
) (
) (
(
)) (
) (
(
יורדת ולכן הנגזרת שלה שלילית∎ .
במעבר האחרון השתמשנו בכך ש -יורדת ולכן גם
דוגמאות:
רומיאו ויוליה קובעים להיפגש .כל אחד מאחר באופן ב"ת בזמן אקספוננציאלי עם פרמטר .מה הצפיפות של הפרש הזמנים בהם הם
מגיעים?
ההפרש המבוקש .נתחיל מהמקרה שההפרש חיובי:
זמני ההגעה של האוהבים ו-
oנסמן
∫) (
) (
)
)
∫
(
∫
(
)
∫ ∫
[
]
(
)
∫
(
∫
) (
∫
∫
}
o
{
במקרה שההפרש שלילי ,אפשר לראות משיקולי סימטריה שמקבלים:
)
(
)
(
)
(
)
(
)
(
) (
) (
) (
o
זאת משום של)-
( צריכה להיות אותה התפלגות – סימטריה מוחלטת בין המ"מ.
( ול)-
שונות משותפת
המטרה היא לנסח מדד לפיזור משותף של משתנים מקריים (התנהגות משותפת) המאפשר באופן מספרי להבין
האם יש התאמה מסוימת בין אופן השינוי של המשתנים.
היא[ ])] :
הגדרה :השונות המשותפת ( )Covarianceשל מ"מ
הגדרה:
])] [
נשים לב שמתקיים( ) :
טענה :יהיו
)
נקראים בלתי-מתואמים אם
(
()] [
)
.
()] [
)
מ"מ ב"ת .אזי
(
([
(
.
([
(
)
.
.
הוכחה :נחשב ישירות ונשתמש באי-תלות כדי לפרק את תוחלת המכפלה:
] [ ] [
[
]
]] [ ] [
] [
] [
)
[
(
כנדרש∎ .
ההיפך לא נכון :ייתכנו מ"מ בלתי-מתואמים שאינם בלתי-תלויים.
מ"מ .אזי )
טענה :יהיו
)
(
(
(
)
.
הוכחה :ישירות מההגדרה:
)
(
)
])] [
])] [
(
[
()]
])] [
( )] [
()] [
])] [
([
()] [
)
()] [
()] [
(([
([
([
)
כנדרש∎ .
טענה :יהיו
(
מ"מ .אזי )
) (
) (
(
)
.
הוכחה :ישירות מההגדרה:
] ))] [
])] [
(
()] [
)] [
([
(([
] )]
] )] [
(
)
[
)
)
(([
] )] [
([
) (
) (
([
כנדרש∎ .
הגדרה :יהיו
מ"מ .מקדם המתאם שלהם מוגדר להיות
מקדם המתאם מקיים כמה תכונות טובות:
)
) (
(
) (
√
)
( .
(
(
(
)
()1
( |
|)
()2
( )3הוא חסר יחידות (היחידות של המונה והמכנה מבטלות אלה את אלה)
,כלומר הוא תמיד נותן חיווי כמותי על "מידת ההתאמה"
דוגמאות:
בכד 3כדורים ממוספרים ,ומוציאים 2כדורים.
המשותפת:
ברשותנו כדורים ממוספרים שבוחרים כמה מתוכם ,ו-
למספר הכדורים שמוציאים.
– מספר הכדור השני .נמצא את השונות
– מספר הכדור הראשון,
]
] [ ] [
) (
o
נתחיל בחישוב התוחלת:
o
)
)
(
(
)
כעת נשתמש בכך ש-
o
מ"מ אחיד ,ולכן
)
)
∑(
)
(
] [ .
∑
∑
) (
∑(
)
,כי הסכום הזה הוא קבוע (הוצאנו את כל הכדורים!) ,ולכן ניתן לבודד את
)
השונות המשותפת ולקבל
]
(
הכדור ה -שהוצאנו .ניתן להוכיח שכל המ"מ שווי התפלגות ללא קשר
נשתמש בהכללת הקשר שהוכחנו קודם ונקבל:
(
[
[
(
.
התוצאה הזאת לא משמחת כל כך ,כי ככל שיש יותר כדורים ,נראה שהשונות המשותפת גדלה – וזה לא אינטואיטיבי,
כיוון שככל שיש יותר כדורים ,השפעת הוצאת כדור אחד "אמורה" להשפיע פחות על הוצאת כדור שני .אם נסתכל על
o
)
מקדם המתאם,
( – הוא דווקא קטֵ ן ככל שיש יותר כדורים ,מה שיותר נוח אינטואיטיבית.
מבצעים
) (
אנשים זורקים באוויר את כובעיהם ותופסים כובע באקראי .נגדיר – מספר האנשים שתפסו את כובעם ,ראינו כבר
שהתוחלת של מ"מ זה היא .1כעת נטפל גם בשונות – נגדיר – מ"מ ברנולי המקבל 1כאשר האדם ה -קיבל את כובעו,
ונפתח לפי מה שראינו (ונזכור שכל המ"מ סימטריים):
הטלות מטבע עם סיכוי לראש ,כאשר
(
)
( [
] )] [
)] [ ] [
]
()
)
[ ()
(
– מספר הראשים – ,מספר הזנבות .כמה הם מתואמים?
[
]
(
( )] [
)] [
) (
)
) (
) (
√
)
(
(
)
)
(
(
)
∑
)
()
(
o
(
)] [
(([
[
] )]
)
(([
) (
כעת נגזור את הפונקציה שקיבלנו כדי למצוא מינימום:
) (
)
(
)
)
(
(
)
(
)
) (
(
̂ .המטרה היא
" .מנחשים" ש -הוא בערך פונקציה ליניארית של .נבנה מודל עם
נתונים שני מ"מי,
שהשונות תהיה מינימלית ,כלומר למזער את ) ̂
.
(
oנתבונן בביטוי הזה:
] ))] [
(
))
(
) (
(
)
(
) (
) (
∑
)
∑(
(
̂
) (
.
ב"ת .נגדיר
יהיו ) (
(
)
oנמצא את הצפיפות של .לשם כך נצטרך לחשב אינטגרל:
∬
.את זה נצטרך לעשות בשני אזורים שונים:
קבוצת הנקודות שעבורן
:
עבור
)
(
)
( על
) ( ) (
∫ ∫
עבור
o
את מה שקיבלנו אפשר עכשיו לגזור:
o
עכשיו נמצא את מקדם המתאם של
]
o
] [ ] [
]
[
) (
נותר לחשב את
מטילים קובייה הוגנת
שני המשתנים.
∫ ∫
(
נעדיף לחשב את השטח של המשולש מעל האזור שמעניין אותנו:
∫
[
)
∫ ∫
)
∫
– נתחיל מהשונות המשותפת:
]
[
) (
] [
)
(
)
o
עוד נשים לב שאם נסמן
])
(
פעמים .נסמן
o
) ( .
{
– מספר תוצאות ","1
ראשית נשים לב ש)-
(
ולכן
( [
) (
] [ ] [
ומכאן
[
]
)
√
√
)
(
( .
– מספר תוצאות " ."2רוצים למצוא את מקדם המתאם בין
)
(
– מספר תוצאות " "1או " ,"2אז )
]
(
(
]
[
[ .
ולכן אנו יודעם איך
ומצד שני
מתפלג הסכום ויכולים לבודד את השונות המשותפת:
)
)
(
)
(
)
(
(
(
)
(
)
) (
פונקציה יוצרת מומנטים
הגדרה :יהי
[
מ"מ .פונקציה יוצרת מומנטים שלו מוגדרת להיות ]
) ( .
דוגמאות:
) (
) (
והפונקציה יוצרת מומנטים שלו היא:
)
)
(
(
∑
) (
∑
והפונקציה יוצרת מומנטים שלו היא:
]
)
[
(
∫
∫
) (
נוכל להשתמש בפונקציה יוצרת מומנטים כדי לחשב את המומנטים של מ"מ יחסית בקלות .ובכן:
טענה :יהי
מ"מ( ) ,
פונקציה יוצרת מומנטים שלו .אזי ) (
) (
]
[ .
הוכחה :נתחיל מהמומנט הראשון (התוחלת):
] [
) (
) (
) (
∫
∫
) (
באופן דומה ,אפשר להסתכל על הנגזרת השנייה:
]
[
) (
באופן כללי ניתן להראות באינדוקציה שמתקיים ]
) (
[
) (
∫
) (
) (
כנדרש∎ .
משפט( :ללא הוכחה) תחת תנאי חלקות מסוימים ,המומנטים (מכל סדר) של מ"מ
קובעים את
ביחידות.
כלומר ,אם אנו יודעים את הפונקציה יוצרת מומנטים של מ"מ מסוים ,אנו בעצם יודעים מה ההתפלגות שלו.
דוגמאות:
) (
יהיו ) (
.נסתכל על הפונקציה יוצרת מומנטים שלו:
ב"ת ו-
(
)
(
)
(
()
)
) (
] [
[
]
] [ ] [
) ( ) (
[
]
(נקבע ע"י הפונקציה יוצרת מומנטים שלו).
(
oהמסקנה) :
oניתן ,כמובן ,להרחיב תופעה זו באינדוקציה לכל מספר סופי של מ"מ פואסון ב"ת.
) (
מ"מ ב"ת ,הראינו כרגע ש( ) ( )-
.
באופן כללי ,אם
)
[
]
,אזי( ) :
) ( .
( [
]
יהי
ב"ת
וכן כל ה-
זבובים נכנסים לחדר ,ובחדר מלכודת .הזבוב ה -שנכנס ייתפס במלכודת בהסתברות ,כלומר ) (
וש"ה .נסמן – מספר הזבובים שנכנסו לחדר ,ונתון ) (
.נגדיר – מספר הזבובים שנתפסו ורוצים למצוא את ההתפלגות
שלו.
(
)
( ) (
oניזכר ש)-
) ( .מכאן נפתח:
ו-
)
∑
]] |
כדי להמשיך נסתכל על
o
[ [
∑
]
]
[
[
(
) (
ספציפי:
(
)
(∏
)
∑
]
]
[
∑
|
[
ומכאן אפשר לחזור לתוחלת:
o
( (
))
)
∑
)
o
(
)
(
)
∑
טענה :יהי )
()
))
(
וכעת קיבלנו את הפונקציה יוצרת מומנטים של מ"מ פואסון) :
(
(
( (
הוכחה :נתחיל במ"מ נורמלי סטנדרטי) ,
∑
) (
.
.עבורו:
∫
√
] )
.
.הפונקציה יוצרת מומנטים שלו היא
(
( ∑
√
∫
√
)
]
∫
(
המעבר האחרון נובע מכך שקיבלנו אינטגרל על פונקציית הצפיפות של מ"מ נורמלי )
(
( .בתרגיל ראינו ש)-
).עבורו:
המ"מ המקורי,
)
(
[
) (
∫
√
( .כעת נתבונן על
) (
כפי שרצינו∎ .
מסקנה :יהיו )
)
(
(
ב"ת ,ו-
(
.אזי )
הוכחה :מפיתוח פ' יוצרת מומנטים:
)
(
)
(
([
) (
) (
) (
.
התכנסות בהסתברות
) ( סדרת מ"מ .נאמר שהסדרה )
.
|(
הגדרה :תהי
|
)
טענה (אי-שוויון מרקוב) :יהי
מ"מ אי-שלילי .אזי
( מתכנסת בהסתברות ל -אם לכל
] [
)
,
( .
הוכחה :מההגדרה:
)
) (
(
) (
∫
) (
∫
) (
∫
) (
∫
∫
] [
ומהעברת אגפים מתקבל הדרוש∎ .
טענה (אי-שוויון צ'בישב) :יהי
מ"מ עם תוחלת
(
הוכחה :נגדיר מ"מ חדש )
ושונות
)
.אזי
|( .
|
ונציב אותו בא"ש מרקוב:
([
] )
)
)
(
|(
|
כפי שרצינו∎ .
מסקנה:
)
)
(
|( .
|
זה מאפשר לראות את ההסתברות שהמשתנה המקרי מתרחק מהתוחלת במכפלות של סטיית התקן .למשל,
ההסתברות להתרחק 3סטיות תקן מהתוחלת היא פחות מ. -
משפט (החוק החלש של המספרים הגדולים) :תהי )
הסדרה )
( סדרה של מ"מ ב"ת שווי התפלגות עם תוחלת .אזי
( מתכנסת בהסתברות ל. -
הוכחה :ראינו כבר ש-
[
]
)
ו-
(
)
ועכשיו ,עבור
|(
|
נתון ,הגבול הנ"ל הוא ( 0כאשר
הגדרה :סדרה )
,ונציב את זה בא"ש צ'בישב:
( של מ"מ מתכנסת בהתפלגות למ"מ
) ומכאן המסקנה∎ .
(שוויון פונקציות).
אם
דוגמאות:
מתקיימות בחירות,
והממוצע שלהם
o
שכולם ב"ת שווי התפלגות () (
ההסתברות לתמיכה במפלגה מסוימת .נסתכל על מדגם
),
.
)
אנו יודעים מא"ש צ'בישב ש-
לא יודעים את .
(
)
|
|( ומכאן
)
|
|( ,שזו עובדה מועילה אפילו אם
o
דיוק ורוצים לדעת מהו ה -שמשיג את זה .ובכן:
במכון סקרים רוצים 05%ביטחון עבור
)
oלמשל ,עבור
יהיו ) (
ב"ת ש"ה ,ו-
o
נראה ש-
(
יהיו
...
.
)
נגדיר
)
( ∏
)
(
)
(
|(
|
.סדרה זו לא מתכנסת בהסתברות ל:0-
→ )
o
|
(מתכנסת בהסתברות ל.)0-
→ )
o
מקבלים
|(
)) (
(
)
(
לכן אנו מסיקים ש( )-
מ"מ ב"ת כך ש( )-
(
)
(
)
(
→) (
בעצם ,מה שקיבלנו כאן זה ש-
)
(
(
לכל ,וזו פונקציית ההתפלגות המצטברת של מ"מ אקספוננציאלי.
).
(מתכנסת בהתפלגות ל( )-
.נראה ש-
ונגדיר
)
(
)
→
)
) (
))
(
(
מתכנסת בהסתברות ל:0-
)
(
)
(
)) (
)
(
| |(
(
משפט הגבול המרכזי
משפט (משפט הגבול המרכזי – :)Central Limit Theoremיהיו
ונגדיר
מ"מ בלתי-תלויים שווי התפלגות
.נניח גם תוחלת ושונות סופיים לכל
נגדיר מ"מ חדש
.אזי מתקיים ) (
√
נורמלי סטנדרטי) ,
(
)
) (
.נסמן
,כלומר
] [ .
מתכנסת בהתפלגות למ"מ
( .
הוכחה :תהי ) (
המ"מ היא .0כעת:
פונקציה יוצרת מומנטים של
]
[ ∏
√
]
√
,סופית בתחום
]
∏[
))
כעת נשתמש בפיתוח טיילור של ) (
סביב
√
:
(
) (
.נניח גם בה"כ שהתוחלת של
√
(
) (
]
[
)
√
∑
(
[
) (
∏
) (
,וניקח שלושה איברים
מהטור:
) (
תחת ההנחות שלנו,
[
]
] [
] [ ולכן ]
זה בביטוי שהיה לנו קודם:
) (
[
) (
) (
) (
,כלומר נשארנו עם ) (
) (
) (
)
(
.נציב את
))
(
(
)
))
(
)
כאשר
(
(
(יש להצדיק את השמטת )
,הביטוי שקיבלנו שואף ל-
√
(
) (
(
ולא נעשה זאת) .לסיכום ,קיבלנו
מתכנסת ל , -שהיא הפונקציה יוצרת מומנטים של מ"מ נורמלי סטנדרטי.
שהפונקציה יוצרת מומנטים של
לכן (לפי משפט שלא למדנו שלפיו התכנסות נקודתית של פונקציה יוצרת מומנטים גוררת התכנסות בהסתברות
של מ"מ – ויקידפיה)) ,
(
כנדרש∎ .
באמצעות המשפט ניתן לבצע קירוב נורמלי – אנו יודעים שהממוצע של קבוצת משתנים מקריים ב"ת ש"ה בעלי
תוחלת
ושונות
( ,והסכום שלהם ניתן לקירוב ע"י )
ניתן לקירוב ע"י )
( .
דוגמאות:
מעלים למטוס 100חבילות שמשקל כל אחת מתפלג )
– נוכל לעשות קירוב נורמלי:
o
נגדיר
(
והן ב"ת זו בזו .מה ההסתברות שסך המשקל יהיה גדול מ 3000-ק"ג?
] [
משקל החבילה ה , -ומתקיים
)
והשונות של הסכום היא לפיכך
)
ולכן
(
)
,
.מכאן:
(
(
)
(
) (
)
,
(
(
)
(
)
√
√
√
ההסתברות שמערכת תקרוס ביום מסוים היא .5%בשנה יש 300ימי עבודה – מהי ההסתברות שהמערכת תקרוס בלא יותר מ5-
ימים בשנה?
∑
ורוצים לדעת מה ההסתברות
וכעת אנו מסתכלים על
(
oנסמן את המ"מ של הקריסה בכל יום ב)-
(
שערכו יהיה קטן או שווה ל .5-במקום החישוב ע"י )
נבצע קירוב נורמלי ,שהרי
) (
) (
] [ :
] [ ו-
)
(
)
(
√
√
)
(
סטטיסטיקה
באופן כללי בפרק זה נניח שה"טבע" מייצר דוגמאות ,וננסה להבין מהדוגמאות האלה מה המאפיינים של
האקראיות בטבע – בדרך כלל ,פרמטר מסוים של התפלגות מסוים .למשל ,נניח שהטבע מתנהג לפי התפלגות
אקספוננציאלית ,ונרצה לאמוד את הפרמטר שלה מדוגמאות שקיבלנו בניסוי.
אמידה נקודתית
כלשהו ,והדגימות
,שיש לה פרמטר
כאן אנו מניחים צורה הסתברותית מסוימת של הטבע( ) ,
שאנו מקבלים תמיד בלתי-תלויות ושוות התפלגות .כדי לאמוד את הפרמטרים של הטבע ,מגדירים פונקציה:
הגדרה :אומד (או סטטיסטי) הוא פונקציה
פשוט ) אומדן – את הערך של הפרמטר
)
( ̂ ,המחזירה עבור מדגם אקראי (לעתים נסמנו
)
(̂ .
שמתאים למדגם שהתקבל:
הגדרה :הטייה של אומד ̂ מסומנת ומוגדרת
]) (̂ [
הפרמטר .אומד שההטייה שלו היא 0נקרא אומד חסר-הטייה.
)̂ (
,כאשר
הערך ה"אמיתי" של
) (̂ .
הגדרה :אומד ייקרא קונסיסטנטי (עקבי) אם
תכונות שנרצה שיהיו לאומד:
( )1אם נחזור על התהליך ,נקבל תוצאות (אומדנים) דומים – כלומר( ̂( )) ,
נמוך
) (̂ (קונסיסטנטיות)
( )2כשיש הרבה דגימות ,נקבל את הדבר ה"נכון":
̂
) ( [ יהיה קטן ,כלומר
(" )3טעות קטנה" – לכל נרצה שהאומדן ̂ יהיה קרוב לאמת] :
שההטייה של האומד תהיה קטנה
דוגמאות:
מטילים מטבע .מניחים ש( )-
o
∑
.נגדיר אומד:
] [
אומד זה הוא חסר-הטייה:
(
)
) (̂ ,כלומר הממוצע של כל ההטלות.
]) (̂ [ .
∑ [
]
) (
∑ (
)
o
השונות מקיימת:
o
כאשר גדל.
משני הסעיפים הקודמים ,תוחלת האומד היא
התכנסות בהסתברות ל( -אומד קונסיסטנטי).
)) (̂ (
– ולפחות השונות קְ טֵ נה
והשונות שלו שואפת ל 0-ככל שמספר הדגימות גדל ,ולכן קיבלנו
כדי לבדוק את איכותם של אומדים ,מגדירים פונקציות נוספות הדומות להטייה .באופן כללי ,אפשר להשתמש בכל
פונקציית מרחק כדי למדוד כמה רחוק האומדן (בתוחלת) מהערך האמיתי של הפרמטר:
הגדרה :פונקציית הפסד (או טעות) של אומד ̂ מוגדרת )
כזאת מוגדר ]) ) (̂ ( [ .
) (̂
למשל ,הטייה היא פונקציית הפסד ,שבה
) (̂ ( וההפסד (או סיכון) תחת פונקציית הפסד
) (̂ ( (פונקציית ההפרש).
)
הגדרה Mean Squared Error :היא פונקציית הפסד המוגדרת )
) (̂ ([
פונקציה זו מסומן ] )
)) (̂ (
מתקיים( ̂) :
) (̂ (
)
) (̂ ( ,וההפסד לפי
.
]
) (̂ [
) (̂ (
)
,כלומר זהו מדד התלוי גם
בשונות וגם בהטייה – ואנו ,בעיקרון ,שואפים להקטין את שניהם .לעתים יהיה trade-offביניהם שלא יאפשר
להקטין את שניהם.
אומד ניראות מירבית
הגדרה :יהיו )
להיות )
(
( ) .אומד הניראות המירבית ( )Maximum Likelihood Estimatorמוגדר
) (̂ .
(או )
(
הרעיון :לבחור את ה -שבדיעבד אילו הוא היה הפרמטר של הטבע ,המדגם שקיבלנו היה הכי סביר.
דוגמאות:
יהיו ) (
.נמצא את אומד הניראות המירבית:
oנתחיל מלכתוב את ההסתברות:
)
(
∏
)
( ∏
)
(
o
כעת כדי למצוא את המקסימום נוציא לוג ,נגזור ,נשווה ל ,0-ונחלץ את :
))
∑
(
∑
)
(
∑
) (
)
(∑
)
}))
(∑
(
(
(
)
∏
) (
(∑{
וזו התוצאה שגם הצענו אינטואיטיבית כדי לאמוד הטלות מטבע.
(
ונמצא אומד ניראות מירבית ל: -
o
יהיו )
,אחרת הוא המדגם
oברור שהביטוי הזה מקבל מקסימום כאשר קטן ככל האפשר .עם זאת ,אנו מוגבלים ל-
,וזה צריך להיות האומד שלנו:
לא אפשרי עבורו .אם כן ,ה -הקטן ביותר שעבורו הביטוי הזה הוא לא 0הוא
) (̂ .
̂
̂
̂
̂
̂
̂
) (
∑
) (
) ( ) (
(
נשווה אומדים ל)-
) ( .
( ) :
) (
))
∑
( (
))
∑
o
עבור ̂ ,מתקיים:
o
עבור ̂ (שהוא אומד הניראות המירבית שקיבלנו קודם) ,מתקיים:
)
(
)
(
)
(
)
] [
)
) (
o
)
() ( ̂
) (
o
]
( (
]) ( ̂ [ ולכן הוא חסר הטייה.
(
() ( ̂
) ( ̂(
)
)
({
)
) ()
( ̂
(
באמצעות מה שקיבלנו אפשר גם לחשב תוחלת:
]
) (
o
∑
[
) (̂
[
)
∫
(
)
) (
∫
(
]) ( ̂ [
כלומר ,זהו אומד בעל הטייה (למרות שכאשר מספר הדגימות גדל ,התוחלת מתקרבת לפרמטר האמיתי).
]) ( ̂
[
(
)
עבור ̂ ,מתקיים:
]) ( ̂ [ ,כלומר הוא חסר הטייה .למעשה ,הוא נבנה כדי
להפוך את ̂ לחסר הטייה.
o
לגבי שונות ,עבור ̂ ( ) :
)
(
o
עבור ̂ ,השונות:
o
עבור ̂ ,השונות) :
o
מכל אלה אפשר להשוות את ה .MSE-מקבלים:
הראשון) ,
)
( )
)
(
(
(
(
)
)
) (
(
)
(
(
)) ( ̂ (
)) ( ̂ (
מהשלושה.
ורוצים אומד לתוחלת ] [
יהיו ) (
ממשיים.
oנראה ש -הוא לא מוטה אםם
∑
)
)
)
(
(
∑
)) ( ̂ (
(
)
)) ( ̂ (
ולבסוף עבור האומד
∑
) ( כאשר
קבועים
∑ .ובכן:
∑
] [
∑[
]
]
) ( [
) (
) ( מביא למינימום את השונות בין כל האומדים חסרי ההטייה (ובכך גם את ה:)MLE-
o
o
כלומר ,אנחנו צריכים להביא למינימום את
∑
∑
) (
)
ורוצים אומד ניראות מירבית ל. -
נגדיר את פונקציית הניראות:
∑
נוציא לוג לנוחות:
∏
)
)) ( (
∑(
∑ תחת האילוץ שסכומם הוא .1מא"ש קושי-שוורץ או פתרון ישיר ע"י
גזירה לפי כל פרמטר בנפרד מקבלים מינימום כאשר
)
)) ( ̂ (
(
)) ( ̂ (
∑ (
.נגביל את עצמנו לסטטיסטים מהצורה
נראה ש-
יהיו ) (
o
o
∫
.המסקנה הסופית היא שה MSE-של האומד השלישי הוא הטוב ביותר
∑
∑
)
) (
(
)) ( ̂ (
)
.
∏
(
(
.
)
( .
o
נגזור ונשווה ל 0-כדי למצוא את המקסימום:
∑
o
יהיו )
o
o
o
כלומר ,אומד הניראות המירבית כאן הוא פשוט .
(
ורוצים אומד ניראות מירבית ל. -
(
)
נגדיר את פונקציית הניראות:
]
[ וכמובן כל ה- -ים לקוחים מתוך הקטע הזה).
וכיוון שפונקציית הניראות קבועה בקטע ]
[ ,בעצם
נשים לב ש-
כל ערך בקטע זה מספק את המקסימום.
) (̂ הוא בעצמו בתוך הקטע ולכן מהווה אומד ניראות מירבית ,אבל הוא לא חסר הטיה (לפחות ,הוא
למשל,
∏
]
קונסיסטנטי):
o
)
∑
( (פונקציית הצפיפות כאן היא פשוט 1על הקטע
)
[ .
) (̂ שהוא גם כן אומד ניראות מירבית.
אפשר גם למצוא אומד חסר הטיה:
(
יהיו )
ורוצים לאמוד את
.נחשב את ה MSE-שלו:
oתחילה נחשב את התוחלת:
) (̂ ,שנשמע הגיוני כיוון ש -הוא אומד ניראות מירבית לתוחלת
.מציעים אומד
) (
(
]
]) (̂ [
[
o
כאשר השתמשנו בכך ש)-
o
דועך אקספוננציאלית (אפשר גם להציע אומד חסר הטייה ע"י נירמול בהופכי של גורם זה).
אבל הגורם
כעת נחשב את השונות:
ולכן אנו יודעים את הפונקציה יוצרת מומנטים שלו .קיבלנו שהאומד אינו חסר הטייה,
)) (
o
(
וקיבלנו )
יהיו )
(
)̂ (
(
) (
]
] )
[
.גם ערך זה שואף ל 0-כאשר
([
)
)) ( ̂ (
(
גדל ,שזה "טוב".
o
(
ורוצים אומדי ניראות מירבית (הוכחות בפתרון תרגיל :)11
) (
̂ .
ידוע,
כאשר
) (
( ∑
כאשר ידוע) ,
̂.
o
כאשר שני הפרמטרים לא ידועים ,האומד לתוחלת הוא כמו קודם והאומד לשונות הוא )
o
(
∑
) (̂.
משפט( :ללא נוכחה) אומד ניראות מירבית הוא קונסיסטנטי.
הגדרה :אומד ) (̂ נקרא אסימפטוטי נורמלי אם )
(
)
) (̂ ( √.
לשונות של ה"טבע" ,כלומר של ה -של המדגם .זה דבר טוב כיוון שהתפלגות נורמלית היא
הכוונה כאן ב-
בעלת דעיכה אקספוננציאלית משני הצדדים של התוחלת ,כלומר ההסתברות להיות רחוקים מהממוצע הולכת
יהיה מאוד גדול ,וזה קצב "טוב".
ל-
וקטנה .למשל ,ההבדל בין
דוגמאות:
) (̂ ,ונניח
יהי
)
(
)
] [ ו-
) (̂ ( √
)
) (
(
– כלומר אומדים את התוחלת של ה"טבע" .כעת לפי משפט הגבול המרכזי,
) (̂
√
,ולכן זהו אומד אסימפטוטי נורמלי (לתוחלת).
משפט( :ללא הוכחה) אומד ניראות מירבית הוא אסימפטוטי נורמלי.
רווח סמך
הגדרה :יהי מדגם מקרי
)Intervalהוא זוג פונקציות
הנדגמים באופן ב"ת ש"ה מתוך הטבע) ,
) ( .
המספקות א"ש ) (
( .רווח סמך ( Confidence
כלומר ,האומדן שלנו במקרה זה הוא לא ערך ספציפי של ,אלא טווח ערכים שבו נמצאת .כמובן ,אי-השוויון
)) (
) ( ( ו-
יהיה נכון רק בהסתברות מסוימת ,ונרצה שהיא תהיה קטנה ,כלומר
(הטעות) הוא קטן.
דוגמאות:
מ"ל קולה בכל פחית .נניח שניתן לכייל את
קוקה-קולה בונה מכונה למילוי פחיות ,היינו רוצים
לכל פחית היא )
( .מטרתנו :ב 05%-מהפחיות להשיג בין 327ל 332-מ"ל קולה.
(
יהיו )
[
ונגדיר רווח סמך ]
בתוך רווח הסמך ,כאשר נזכור ש)-
)
(
√
)
√
(
√
) √ (
.כמה הדבר הזה טוב? נחשב את ההסתברות שאכן התוחלת נופלת
:
)
) √ (
o
o
(
והכמות הנשפכת
(
)
(
)
(
) √(
√)
) √
√ (
(
הוא כיוון ש)-
כאן המעבר האחרון הוא מסימטריה של ההתפלגות הנורמלית ,והמעבר ל-
.
מקבלים שההסתברות להיות בטווח הנתון היא
למשל ,עבור
√)
(
(.
כיצד נחשב רווח סמך? פועלים לפי שלושה שלבים:
( כך שההתפלגות של
( )1מוצאים פונקציה )
pivot function
)
)
כך ש-
( )2נחפש
אם היא באה מהתפלגות מוכרת
( )3מחלצים רווח סמך על
(
אינה תלויה ב ; -פונקציה זו נקראת pivotal qualityאו
( – זה אמור להיות קל כי
לא תלויה ב -ובמיוחד קל
דוגמאות:
עבור )
(
– כאשר אומדים את
)
(
( שהוא מ"מ נורמלי סטנדרטי ואינו תלוי בפרמטר.
o
נגדיר √
o
נסתכל על
o
כשמחלצים את ,מתקבל רווח הסמך ]
)
יהיו )
o
(
√
)
ידוע):
(
– ההסתברות שווה ל-
(
))
√
(
)
[
√
כיוון ש-
(
(הגיוני שהוא סימטרי כי מדובר בהתפלגות
נורמלית ,שהיא סימטרית).
(
ורוצים לאמוד את .
)
אפשר לקחת
)
( ואז
(
(
)
(
)
) ()
(
זו התפלגות שאינה
תלויה ב. -
o
אפשר גם להשתמש במה שקיבלנו עבור אומד ניראות מירבית (
)
) ולקחת
( .גם ההתפלגות שלה
אינה תלויה ב , -נראה זאת:
)
o
(
)
(
(
)
)
כעת ננסה למצוא חסמים עבור
(
)
)
( .כיוון ש)-
) (
(
( מהר מאוד מתקרבת ל ,1-סביר לבחור
ו"לשחק" רק עם ערכו של :
) (
o
אם אנו רוצים
) (
,מכאן שאנחנו צריכים לבחור √
)
.
(
אנחנו צריכים לבודד אותו מהא"ש:
o
כדי לקבל רווח סמך על
o
וקיבלנו רווח סמך מהצורה ]
)
√
[
√
במילא לא ייתכן
(
לפי משפט הגבול המרכזי ,עבור
o
]
)
המספק רמת שגיאה
(הגבול השמאלי של הרווח ברור מאליו ,כי
– כי הוא לא יכול לייצר דגימות כאלה).
oנניח שרוצים רמת ביטחון של 05%ו-
יהיו ) (
ורוצים רווח סמך ל. -
)
√(
( √
[
√
.מהו ה -הדרוש? פותרים ומקבלים
גדול) ,
)
(
(
(בקירוב) .לכן ,לפי מה שראינו קודם ,רווח הסמך (לנורמלי) הוא
.
הבעיה כאן היא שהרווח סמך תלוי ב . -פתרון אפשרי אחד הוא לחסום) :
o
.
(
ולכן אפשר להחליף את הגורם הזה
ב -בתוך רווח הסמך.
פתרון אפשרי אחר הוא להעריך את
o
( במקום על )
באמצעות ,כלומר להסתכל על )
( .
בדיקת השערות
במקום לספק רווח סמך או לאמוד ממש את הפרמטר ,כעת אנו רק מתעניינים בשתי השערות על מנת להכריע
איזו מהן נכונה לגבי הטבע על סמך המדגם שקיבלנו.
ב"ת ש"ה)
) ( כאשר מדגם מקרי (
הגדרה :בבדיקת השערות עלינו לבנות מבחן מהצורה
השערת האלטרנטיבה ,כאשר המבחן דוחה את השערת האפס.
השערת האפס,
עבור שתי השערות -
הגדרה :נסמן ב -את קבוצת המדגמים שעבורם המבחן דוחה את
)
)
.אז רמת המובהקות ( )significanceתסומן
)
ועוצמת המבחן ( )powerתסומן )
((
((
והיא
.
היא הנכונה .כלומר ,רמת המובהקות
,הכוונה להסתברות של המאורע כאשר ההשערה
כאשר כותבים
כאשר היא נכונה (על סמך מדגם שעבר את הסף שלנו) ,ועוצמת המבחן
מגדירה את ההסתברות לדחות את
כאשר היא אינה נכונה.
מגדירה את ההסתברות לקבל את
בהינתן מבחן מסוים ו( -גודל המדגם) ,כאשר קובעים את ,זה קובע גם את ערכו של .אם רוצים להקטין את
שני סוגי הטעות ,אין ברירה אלא להגדיל את .
דוגמאות:
יהיו ) (
– המטבע לא מוטה,
ואנו רוצים לבדוק את ההשערות
∑
נניח שמטילים את המטבע 1000פעמים ,ונסמן
|
| ,כאשר כאן
,500ולכן נגדיר מבחן מהצורה:
|(
|
)
(כלומר הטעות) תהיה קטנה.
יהיו )
o
(
והשערות
נבדוק מהם
,
כאן (כאשר )
,וההשערה המשלימה
סכום ההטלות .כאשר המטבע לא מוטה ,התוחלת של הסכום היא
הוא סף המבחן ,ורוצים שכאשר המטבע לא מוטה ,ההסתברות
.נשתמש במבחן הבא :אם
(
√
) (
) √
o
נניח כעת שרוצים
√
(
)
√)
(
) √)
(
,ונחשב את
) √)
(
,דוחים את
(
√
(
.
כמו תמיד):
)
) √
– המטבע מוטה,
(
) √)
)
√
(
(עבור המבחן
(
((
√)
(
)
) שיספק אותו:
(
√)
((
)
(
.
o
שמצאנו ,מה קורה עם ?
עבור אותם
) √
עבור )
(
(
√)
) √
וההשערות
)
((
((
√)
) נתסכל על מבחן מהצורה ) (
(כאשר
(בצד שמאל יש
√
נורמלי סטנדרטי ,שזה נוח) ונרצה למצוא כמה גדול צריך להיות המדגם על מנת לקיים תנאים גם על
) ( כדי שהטעות מהסוג הראשון לא תעלה על .
oראשית נדרוש
(
)
) ( ,שהרי )
o
שנית נדרוש
o
משני התנאים יחד אנו מקבלים:
(
)
√
√
(
)
√
)
) (
√
מקבלים
)
) (
(
(
)
(
וגם על .
.
√
(
,ואם מתעלמים מהחלק האמצעי של הא"ש,
√
ומכאן אפשר להפיק תנאי על
(שהוא המשתנה האמיתי כאן) .ובכן:
√
)
(
)
(
)
ובכל מקרה כדי שאפשר יהיה לקיים את התנאי הזה צריך
√
o
יהי
מ"מ רציף עם הצפיפות
על תצפית אחת , ,והדוחה את
) (
בקטע ]
אם
( √
.
[ ו 0-בשאר הישר .ההשערות:
.נגדיר מבחן המתבסס
.מהי רמת המובהקות והעוצמה?
]
∫
[
)
∫
(
)
)
(
(
עד כה בבדיקת השערות ידענו רק להפריד בין שתי השערות ,אך לא ידענו לומר "עד כמה" אנחנו מאמינים
שהשערה מסוימת היא נכונה .ובכן ,נגדיר מדד כזה:
( את ערך הסטטיסטי עבור המדגם (המבחן ,בבדיקת
(
) ( ( ( .כאן הוא מ"מ של כל המדגם,
מדגם ספציפי ונסמן ב)-
הגדרה :יהי
השערות) .ה p-value-של המדגם הוא ההסתברות ))
).
כלומר
ככל שה p-value-גדול יותר ,כך המדגם יותר סביר בהינתן .כלומר ,אם רוצים לאשש את השערת האפס,
הוא הערך של אילו היינו בוחרים
רוצים p-valueגבוה ככל האפשר .בעצם ,ה p-value-של המדגם
(
לקבוע את הסף של המבחן ב)-
.
טענה :ה p-value-מתפלג אחיד בין 0ל.1-
הוכחה :למעשה ,הטענה נכונה לכל CDFשהיא מונוטונית עולה ממש .תהי ) (
מ"מ חדש .כעת מתקיים:
ונגדיר ) (
)) (
)) (
(
(
)) (
) (
)
(
(
)
)) (
CDFמונוטונית עולה ממש,
(
) (
(
וקיבלנו שפונקציית ההתפלגות המצטברת היא כמו של ) ( ,כאשר בדרך השתמשנו במונוטוניות ממש כדי
שתהיה לרשותנו הפונקציה ההופכית .במקרה של ,p-valueמדובר ב CDF-מונוטונית ממש (למעט מקרים של
מבחנים מנוונים ולא מעניינים) ולכן הטענה הנ"ל נכונה עבורה כמקרה פרטי∎ .
דוגמאות:
(
יהי )
וההשערות
) ( – בחרנו מבחן זה כיוון שכעת צד שמאל
,וכלל הדחיה הבא:
√
מתפלג נורמלי סטנדרטי.
oנניח שקיבלנו
o
( .מה ה?p-value-
) ( (
)
) (
)
כלומר ,תחת ההנחה
) ( (
)
85% ,מהמדגמים יקבלו ציון גבוה מ 0.8-מהמבחן שלנו.
מבחן יחס הניראות
הגדרה :מבחן יחס הניראות לבדיקת השערות הוא מבחן מהצורה
)
(
)
(
) ( .
דוגמאות:
) (
מטילים קוביה ,וההשערות:
) (
{
ו-
o
נפעיל את מבחן יחס הניראות על הטלה אחת:
o
יש לנו כעת כמה אפשרויות לקבוע סף :אם נבחר מבחן
.
) (
{
) ( ,אז אנו דוחים עם טעות
מבחן
) ( ,אז אנו תמיד מקבלים את השערת האפס .אם נבחר
.לבסוף ,אם נבחר מבחן
האפס.
אם אין פורץ ,או
מצלמת מעקב מחזירה סיגנל
(
פורץ , -ונתון )
.
(
oנשים לב שתחת ההנחה שיש פורץ) ,
oנבנה מבחן יחס ניראות:
אם יש פורץ .נסמן את ההשערה שאין פורץ ב-
וותחת ההנחה שאין פורץ )
)
o
o
.
כעת ,נניח שרוצים
∑
) (
) (
.מהו ה -הדרוש לשם כך?
יהיו ) (
וההשערות:
oנבנה כלל דחיה על פי מבחן יחס הניראות:
) (
.
√
,וכיוון שצד ימין הוא קבוע ,בעצם המבחן מצטמצם לצורה מאוד פשוטה :האם
) (
(
וההשערה שיש
(
√
אפשר לפרק את זה ולקבל
) ( אז אנו תמיד דוחים את השערת
)
(
)
()
)
עבור
(
)
(
(
.
∏
∏
∏
)
)
(
(
)
(
∑ (כי
oכל מה שקיבלנו זו פונקציה מונוטונית עולה של
∑ ,שהוא קל יותר לחישוב.
שהמבחן הזה שקול למבחן
oמתרגיל שהיה קודם ,אנו יודעים ש( )-
∑ ,מה שאומר שגם קל לנו לחשב הסתברויות על תנאי הדחייה,
ולחשב .p-value
.
עם ההשערות
יהיו ) (
oנבנה את מבחן יחס הניראות:
ולכן הבסיס של החזקה גדול מ ,)1-וכך אפשר לומר
∑
)
(
(
(
)
)
)
∑
)
(
∑
) (
(
)
(
∏
)
(
∏
(
(
)
)
(
)
∑.
∑ ,ולכן המבחן שוב שקול ל-
oהביטוי שקיבלנו הוא שוב פונקציה מונוטונית עולה של
.אם רוצים מסוים ספציפי מאוד ,יכול
oנשים לב שכיוון שהמ"מ כאן בדיד ,יש טעם לדבר רק על
להיות שלא ניתן להשיג אותו באמצעות כלשהו .במקרה כזה ,נצטרך גרסה מתוחכמת של המבחן :יהיה לנו סף דחייה
בהסתברות מסוימת (לא 0ולא .)1
וודאית וסף קבלה וודאית ,ובאיזור החיץ ,המבחן ידחה את
יהיו ) (
.
והשערות
∑
(הוכחה בפתרון תרגיל .)13
oמבחן יחס הניראות המתקבל הוא מהצורה
) ( מבחן יחס הניראות עבור שתי השערות,
משפט (ניימן-פירסון) :יהי
כרגיל .אזי
מבחן כלשהו – ,תחום דחיית ,
יהי
– תחום דחיית
.
,
כרגיל.
הוכחה :מההגדרות,
(
)
כעת נסתכל על
)
(
)
(
)
(
)
(
)
(
)
(
(
)
:ממבחן יחס הניראות,
(
)
)
(
)
(
(
)
,שכן כל המדגמים הם ב -ולכל אחד המנה
.לכן
מקבלים:
)
ובאותו אופן,
)
(
)
(
(
(
)
(
)
,כי כל המדגמים אינם ב -ולכן עבורם המבחן החזיר
(
)
(
)
)
.מכאן שוב מקבלים:
(
כעת נסתכל על ה- -ות:
)
(
)
(
)
(
)
(
)
(
)
(
כמו שראינו קודם,
)
(
ומכאן המסקנה) :
(
)
)
(
(
)
,ולכן
(
)
(
כנדרש∎ .
במובן מסוים המשפט אומר שמבחן יחס הניראות הוא הכי טוב שאפשר להשיג – אי אפשר לשפר את המובהקות
).
( ) מבלי לפגוע בעוצמת המבחן (
מבחן יחס הניראות המוכלל
כאן נרצה לעסוק במקרה שההשערות אינן שתי נקודות (למשל ,שני ניחושים של הפרמטר) אלא משהו מורכב
יותר .נתחיל בדוגמא ואז נבנה מבחן שפועל על כל שתי השערות.
דוגמאות:
יהיו )
(
.נתחיל בניחוש :כיוון שאנו רוצים לבדוק
,לרשותנו מדגם של דגימה אחת ,וההשערות:
השערה לגבי התוחלת ,יהיה הגיוני להסתכל על המדגם עם נרמול ,כלומר על מבחן מהצורה
o
נתבונן בטעויות :כיוון ש -תלוי ב-
)
o
,זה חישוב שכבר עשינו .לעומת זאת,
(
ככל ש -גדל( )) ,
(
)
)
כאן היא כבר פונקציה של :
)
) (
(
( מתקרב ל 0-בהדרגה .בנוסף ,כאשר
(
.
) ( ,כי אז:
,מקבלים
(
)
הגדרה :מבחן יחס ניראות מוכלל ( )Generalized Likelihood Ratio Testהוא מבחן בדיקת השערות כאשר
שסף הדחייה שלו הוא
ההשערות מהצורה
)
(
)
(
) ( .
דוגמאות:
מטילים הטלות קוביה בעלת הסתברויות )
מבחן יחס ניראות מוכלל לבדיקת השערות אלה:
o
,וההשערות
,זה נכון לכל מדגם .לעומת זאת ,במונה אנו רוצים "תחרות" – המודל הכי
מכל האפשרויות על כל הפרמטרים של הבעיה .נסמן
מספר הפעמים ש -יצא במדגם ,ונקבל:
(∑
)
)
o
) (
ברור מה צריך להיות במכנה ( ) -
סביר תחת
(
– הקוביה הוגנת,
– הקוביה לא הוגנת .נבנה
∑
)
(
( ∏
(
)
זה ביטוי שאפשר להוציא מתוכו לוג ואז לגזור לפי 5הפרמטרים כדי למצוא את המקסימום:
)
∑
∑
(
)
∑
)
∑
∑
(
()
∑
∑
)
)
(
(
(
o
כעת ממניפולציה מסוימת ,מקבלים שכדי שכל הנגזרות יחד יהיו ,0צריך ש-
o
נשים לב גם שזה המקסימום ולא המינימום (כי המינימום – שהוא – 0מושג כאשר איזשהו
.)0
מכאן מבחן יחס הניראות המוכלל הוא (נשים לב שכאן המקריות היא כבר ב – -אין בביטוי):
o
)
) (
לכל .
וה-
המתאים לו אינו
) (
(∏
) (
יהיו )
)
(
(
()
.מקבלים מדגמים מצומדים )
( .נגדיר
ושתי השערות
o
.
נשים לב לכך ש)-
o
√
כיוון ש -הוא אומד הניראות המירבית לתוחלת של מ"מ נורמלי ,כל הביטוי ניתן לצמצום – הגורם המונה הוא זה שבו
(
.נכתוב את מבחן יחס הניראות ,כאשר
)
(
√
∏
) (
∏
.
:
סוף
© Copyright 2024