1. No category

Ilkka Mellin
Todennäköisyyslaskenta
Osa 3: Todennäköisyysjakaumia
Moniulotteisia todennäköisyysjakaumia
TKK
(c) Ilkka Mellin (2007)
1
Moniulotteisia todennäköisyysjakaumia
>> Multinomijakauma
Kaksiulotteinen normaalijakauma
TKK
(c) Ilkka Mellin (2007)
2
Multinomijakauma
Multinomijakauman tausta 1/3
• Multinomijakauma on binomijakauman (ks. lukua
Diskreettejä jakaumia) yleistys useamman toisensa
poissulkevan tapahtuman tilanteeseen.
• Olkoon A1, A2, … , Ak otosavaruuden S ositus.
• Tällöin:
Ai∩Aj = ∅ , i ≠ j
S = A1∪A2∪ ⋅⋅⋅ ∪Ak
• Olkoot tapahtumien A1, A2, … , Ak todennäköisyydet:
Pr(Ai) = pi , i = 1, 2, … , k
p1 + p2 + ⋅⋅⋅ + pk = 1
TKK
(c) Ilkka Mellin (2007)
3
Multinomijakauma
Multinomijakauman tausta 2/3
• Määritellään satunnaismuuttujat Xi , i = 1, 2, … , k:
Xi = Tapahtuman Ai esiintymisten lukumäärä
n-kertaisessa toistokokeessa
• Tällöin
X i ~ Bin(n, pi ) , i = 1, 2,… , k
jossa
pi = Pr(Ai) , i = 1, 2, … , k
• Lisäksi
X1 + X 2 + + X k = n
TKK
(c) Ilkka Mellin (2007)
4
Multinomijakauma
Multinomijakauman tausta 3/3
• Multinomijakaumalla tarkoitetaan satunnaismuuttujien
X1, X2, … , Xk
yhteisjakaumaa.
• Huomautus:
Satunnaismuuttuja Xi eivät ole riippumattomia, koska niitä sitoo
toisiinsa ehto
X1 + X 2 + + X k = n
jossa toistokokeiden lukumäärä n on kiinteä luku.
TKK
(c) Ilkka Mellin (2007)
5
Multinomijakauma
Multinomijakauma ja sen
pistetodennäköisyysfunktio
• Satunnaismuuttujat X1, X2, … , Xk noudattavat (k − 1)ulotteista multinomijakaumaa, jos niiden yhteisjakauman
pistetodennäköisyysfunktio on muotoa
Pr( X 1 = n1 ja X 2 = n2 ja … ja X k = nk )
n!
p1n1 p2n2
=
n1 !n2 ! nk !
jossa
p1 + p2 +
pknk
+ pk = 1
n1 + n2 + + nk = n
• Merkintä:
(X1, X2, … , Xk) ∼ Multinom(p1, p2, … , pk ; n)
TKK
(c) Ilkka Mellin (2007)
6
Multinomijakauma
Multinomijakauman ominaisuuksia
• Jos k = 2, niin multinomijakauma yhtyy binomijakaumaan:
PrMultinom ( X 1 = n1 ja X 2 = n − n1 ) = PrBin ( X 1 = n1 )
• Multinomijakauman yksiulotteiset reunajakaumat ovat
binomijakaumia.
• Multinomitodennäköisyydet saadaan korottamalla
multinomi (p1 + p2 + ⋅⋅⋅ + pk) potenssiin n:
n!
p1n1 p2n2 pknk
n1 !n2 ! nk !
jossa summa lasketaan yli kaikkien lukujen n1, n2, … , nk ,
joille pätee ehto
n1 + n2 + ⋅⋅⋅ + nk = n
( p1 + p2 +
TKK
+ pk ) n = ∑
(c) Ilkka Mellin (2007)
7
Moniulotteisia todennäköisyysjakaumia
Multinomijakauma
>> Kaksiulotteinen normaalijakauma
TKK
(c) Ilkka Mellin (2007)
8
Kaksiulotteinen normaalijakauma
Kaksiulotteinen normaalijakauma
• Kaksiulotteinen normaalijakauma on normaalijakauman
(ks. lukua Jatkuvia jakaumia) kaksiulotteinen yleistys.
• Huomautus:
Normaalijakauman yleistystä p-ulotteiseen avaruuteen (p > 1)
kutsutaan multinormaalijakaumaksi tai p-ulotteiseksi
normaalijakaumaksi.
TKK
(c) Ilkka Mellin (2007)
9
Kaksiulotteinen normaalijakauma
Kaksiulotteinen normaalijakauma ja sen
tiheysfunktio 1/2
• Satunnaismuuttujat X ja Y noudattavat kaksiulotteista
normaalijakaumaa, jos niiden yhteisjakauman
tiheysfunktio on muotoa


1
1
exp −
f XY ( x, y ) =
Q ( x, y ) 
2
2
2πσ X σ Y 1 − ρ XY
 2(1 − ρ XY )

jossa
2
2
 x − µ X   y − µY 
 x − µ X  y − µY 
Q ( x, y ) = 
+
− 2 ρ XY 


 σ 
σ
σ
σ

 




X
Y
X
Y
• Merkintä:
(X, Y) ∼ N2(µX, µY, σX2, σY2, ρXY)
TKK
(c) Ilkka Mellin (2007)
10
Kaksiulotteinen normaalijakauma
Kaksiulotteinen normaalijakauma ja sen
tiheysfunktio 2/2
• Kaksiulotteisen normaalijakauman
N2(µX, µY, σX2, σY2, ρXY)
parametrien on toteuttava seuraavat ehdot:
−∞ < µ X < +∞
σX > 0
−∞ < µY < +∞
σY > 0
−1 < ρ XY < +1
TKK
(c) Ilkka Mellin (2007)
11
Kaksiulotteinen normaalijakauma
Kaksiulotteinen normaalijakauman parametrit
• Olkoon
(X, Y) ∼ N2(µX, µY, σX2, σY2, ρXY)
• Kaksiulotteisen normaalijakauman parametreina, jotka
täysin määräävät jakauman, ovat satunnaismuuttujien X ja
Y odotusarvot ja varianssit sekä niiden korrelaatio:
E( X ) = µ X
Var( X ) = σ X2
E(Y ) = µY
Var(Y ) = σ Y2
Cor( X , Y ) = ρ XY
• Lisäksi
Cov( X , Y ) = σ XY = ρ XY σ X σ Y
TKK
(c) Ilkka Mellin (2007)
12
Kaksiulotteinen normaalijakauma
Tiheysfunktion ominaisuudet
• Kaksiulotteisen normaalijakauman tiheysfunktio
määrittelee pinnan
z = fXY(x, y)
kolmiulotteisessa avaruudessa.
• Pinnalla on maksimi satunnaismuuttujien X ja Y odotusarvojen µX ja µY määräämässä jakauman todennäköisyysmassan painopisteessä (µX, µY).
• Pinnan muodon määräävät tasa-arvoellipsit
2
2
 x − µ X   y − µY 
 x − µ X   y − µY 
Q ( x, y ) = 
+
− 2 ρ XY 




 σ X   σY 
 σ X  σY 
= c (vakio)
TKK
(c) Ilkka Mellin (2007)
13
Kaksiulotteinen normaalijakauma
Tasa-arvoellipsien ominaisuudet 1/3
• Kaksiulotteisen normaalijakauman tiheysfunktion
muodostaman pinnan muodon määräävillä tasaarvoellipseillä on seuraavat ominaisuudet:
(i) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste
(µX, µY)
(ii) Ellipsien eksentrisyys on sekä korrelaatiokertoimen
ρXY että standardipoikkeamien σX ja σY funktio.
(iii) Ellipsi on sitä eksentrisempi mitä voimakkaammin
satunnaismuuttujat X ja Y ovat korreloituneita eli
mitä suurempi on
|ρXY|
TKK
(c) Ilkka Mellin (2007)
14
Kaksiulotteinen normaalijakauma
Tasa-arvoellipsien ominaisuudet 2/3
(iv) Jos
ρXY = 0
ellipsien pääakselit ovat koordinaattiakseleiden
suuntaiset.
(v) Jos
ρXY = 0
ja lisäksi
σX = σY
niin ellipsit ovat ympyröitä.
(vi) Jos
ρXY = ±1
niin ellipsit surkastuvat janoiksi.
TKK
(c) Ilkka Mellin (2007)
15
Kaksiulotteinen normaalijakauma
Tasa-arvoellipsien ominaisuudet 3/3
• Tasa-arvoellipsien pääakselit ovat satunnaismuuttujien X
ja Y kovarianssimatriisin
 σ X2 σ XY 
Σ=
2 
σ
σ
Y 
 XY
ominaisvektoreiden suuntaiset ja niiden pituudet
suhtautuvat toisiinsa kuten matriisin Σ ominaisarvojen
neliöjuuret.
TKK
(c) Ilkka Mellin (2007)
16
Kaksiulotteinen normaalijakauma
Esimerkki:
Jakauman määrittely
•
•
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
Jakauman parametrit ovat
E( X ) = µ X = 4
Var( X ) = σ X2 = 2
E(Y ) = µY = 3
•
Siten
Var(Y ) = σ Y2 = 1
Cor( X , Y ) = ρ XY = 0.7
Cov( X , Y ) = ρ XY σ X σ Y = 0.7 × 2 × 1 = 0.9899
TKK
(c) Ilkka Mellin (2007)
17
Kaksiulotteinen normaalijakauma
Esimerkki:
Tiheysfunktion kuvaaja
• Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
jolloin
µ X = 4 σ X2 = 2
µY = 3 σ Y2 = 1
ρ XY = 0.7
0.2
0.1
• Kuva oikealla esittää jakauman
tiheysfunktiota
fXY(x, y)
TKK
(c) Ilkka Mellin (2007)
8
10
6
0
-2
4
0
2
x
2
4
6
y
0
8
-2
10
18
Kaksiulotteinen normaalijakauma
Esimerkki:
Tasa-arvoellipsien yhtälöt
•
•
•
•
TKK
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
Jakauman todennäköisyysmassan painopisteenä on piste
(µX, µY) = (4, 3)
Jakauman tiheysfunktion muodostaman pinnan muodon määräävät
tasa-arvoellipsit
2
2
 x − 4  y − 3
 x − 4 y − 3
2
0.7
Q ( x, y ) = 
+
−
×


 


1
1




2
2




= c (vakio)
Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste
(µX, µY) = (4, 3)
(c) Ilkka Mellin (2007)
19
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisi
•
•
TKK
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
Tällöin satunnaismuuttujien X ja Y kovarianssimatriisi on
 σ X2 σ XY 
Σ=
2 
σ
σ
Y 
 XY
 σ X2
ρ XY σ X σ Y 
=

2
ρ
σ
σ
σ
Y
 XY X Y


2
0.7 × 2 × 1
=

1
0.7 × 2 × 1

0.9899 
 2
=

0.9899
1


(c) Ilkka Mellin (2007)
20
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 1/6
•
TKK
Olkoon
Σ = ULU´
kovarianssimatriisin Σ pääakselihajotelma, jossa L on matriisin Σ
ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien
ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa
ominaisvektorit ovat sarakkeina.
(c) Ilkka Mellin (2007)
21
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 2/6
•
Olkoot
λ1 ≥ λ2
•
matriisin Σ ominaisarvot ja
u1 = (u11, u21)
u2 = (u21, u22)
niitä vastaavat ominaisvektorit.
Tällöin
λ 0 
u u 
L =  1  , U =  11 12 
 0 λ2 
u21 u22 
ja
U´ΣU = L
U´U = UU´ = I
TKK
(c) Ilkka Mellin (2007)
22
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 3/6
•
•
•
Olkoon λ kovarianssimatriisin Σ ominaisarvo.
Tällöin λ toteuttaa yhtälön
σ X2 − λ σ XY 
det( Σ − λ I 2 ) = det 
2

σ
σ
Y − λ
 XY
2
= λ 2 − (σ X2 + σ Y2 )λ + σ X2 σ Y2 − σ XY
=0
Tämän 2. asteen yhtälön ratkaisut saadaan kaavasta
λ=
•
TKK
2
σ X2 + σ Y2 ± (σ X2 − σ Y2 ) 2 + 4σ XY
2
Ratkaisuiksi saadaan
λ1 = 2.6091
λ2 = 0.3909
(c) Ilkka Mellin (2007)
23
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 4/6
•
•
•
Olkoon u = (u1, u2) kovarianssimatriisin Σ ominaisarvoa λ vastaava
ominaisvektori.
Tällöin u toteuttaa matriisiyhtälön
Σu = λu
Koska vaadimme, että
u′u = u12 + u22 = 1
niin vektori u = (u1, u2) saadaan ratkaistuksi yhtälöryhmästä
(σ X2 − λ )u1 + σ XY u2 = 0

2
σ
u
(
σ
+
 XY 1
Y − λ )u2 = 0
 2
2
u
u
+
=1
1
2

TKK
(c) Ilkka Mellin (2007)
24
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 5/6
•
•
TKK
Ominaisarvoa
λ1 = 2.6091
vastaavaksi ominaisvektoriksi saadaan
u1 = (u11, u21) = (0.8517, 0.5240)
Ominaisarvoa
λ2 = 0.3909
vastaavaksi ominaisvektoriksi saadaan
u2 = (u21, u22) = (−0.5240, 0.8517)
(c) Ilkka Mellin (2007)
25
Kaksiulotteinen normaalijakauma
Esimerkki:
Kovarianssimatriisin pääakselihajotelma 6/6
•
Kovarianssimatriisin
0.7 2   2
0.9899 
 σ X2 σ XY   2
Σ=
=
=
2 
1 
1   0.9899
σ XY σ Y   0.7 2
pääakselihajotelmaksi
Σ = ULU´
saadaan siis
0 
λ1 0   2.6091
L=
=

0.3909 
 0 λ2   0
 u11 u12  0.8517 −0.5240 
U=
 =  0.5240 0.8517 
u
u

 21 22  
jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi
ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen
matriisi, jossa ominaisvektorit ovat sarakkeina.
TKK
(c) Ilkka Mellin (2007)
26
Kaksiulotteinen normaalijakauma
Esimerkki:
Tasa-arvoellipsit ja niiden pääakselit 1/4
•
•
•
TKK
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
Jakauman tiheysfunktion muodostaman pinnan muodon määräävien
tasa-arvoellipsien pääakselit leikkaavat jakauman todennäköisyysmassan painopisteessä
( µ X , µY ) = (4,3)
Tasa-arvoellipsien pääakseleiden pituudet suhtautuvat toisiinsa kuten
kovarianssimatriisin Σ ominaisarvojen
λ1 = 2.6091
λ2 = 0.3909
neliöjuuret ja vastaavat ominaisvektorit määräävät pääakseleiden
suunnat.
(c) Ilkka Mellin (2007)
27
Kaksiulotteinen normaalijakauma
Esimerkki:
Tasa-arvoellipsit ja niiden pääakselit 2/4
•
Tasa-arvoellipsien pääakseleiden suuntaisten suorien yhtälöt ovat
y = a1 + b1 x
y = a2 + b2 x
jossa
b1 =
u21 0.5240
=
= 0.6152
u11 0.8517
a1 = µY − b1µ X = 3 − b1 × 4 = 0.5390
ovat suurempaa ominaisarvoa 2.6091 vastaavan, pitempään
pääakseliin liittyvän suoran kertoimet ja
u
0.8517
b2 = 22 = −
= −1.6254
u12
0.5240
a2 = µY − b2 µ X = 3 − b2 × 4 = 9.5015
ovat pienempää ominaisarvoa 0.3909 vastaavan, lyhyempään
pääakseliin liittyvän suoran kertoimet.
TKK
(c) Ilkka Mellin (2007)
28
Kaksiulotteinen normaalijakauma
Esimerkki:
Tasa-arvoellipsit ja niiden pääakselit 3/4
• Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
jolloin
µ X = 4 σ X2 = 2
µY = 3 σ Y2 = 1
ρ XY = 0.7
• Kuva oikealla esittää jakauman
tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat
(likimäärin) todennäköisyyksiä
68 %, 95 % ja 99.7 %.
Esimerkiksi uloimman ellipsin
sisään jää n. 99.7 % jakauman
todennäköisyysmassasta.
TKK
N2(4, 3, 2, 1, 0.7)
10
8
( µ X , µY )
6
4
2
0
-2
(c) Ilkka Mellin (2007)
-2
0
2
4
6
8
10
29
Kaksiulotteinen normaalijakauma
Esimerkki:
Tasa-arvoellipsit ja niiden pääakselit 4/4
• Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
• Kuva oikealla esittää jakauman
tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat
(likimäärin) todennäköisyyksiä
68 %, 95 % ja 99.7 %.
• Kuvaan on lisäksi piirretty tasaarvoellipsien pääakselien
suuntaiset suorat
y = 0.5390 + 0.6152 × x
N2(4, 3, 2, 1, 0.7)
10
8
6
4
2
0
-2
-2
0
2
4
6
8
10
y = 9.5015 − 1.6254 × x
TKK
(c) Ilkka Mellin (2007)
30
Kaksiulotteinen normaalijakauma
Reunajakaumat
• Voidaan osoittaa, että kaksiulotteisen normaalijakauman
reunajakaumat ovat normaalisia:
X ∼ N(µX, σX2)
Y ∼ N(µY, σY2)
ja niiden tiheysfunktiot ovat
2

1
 1  x − µ X  
exp − 
f X ( x) =
 
2
σ
2πσ X
 
X
 
2

1
 1  y − µY  
exp − 
fY ( y ) =
 
2
σ
2πσ Y
  Y  
TKK
(c) Ilkka Mellin (2007)
31
Kaksiulotteinen normaalijakauma
Esimerkki:
Reunajakaumat
N(4, 2)
0.5
0.5
0.4
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0
0
-2
•
•
TKK
N(3, 1)
0
2
4
6
8
10
-2
0
2
4
6
8
10
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
Kuvat yllä esittävät satunnaismuuttujien X ja Y reunajakaumia:
X ∼ N(4, 2)
Y ∼ N(3, 1)
(c) Ilkka Mellin (2007)
32
Kaksiulotteinen normaalijakauma
Korreloimattomuus vs riippumattomuus
• Kaksiulotteisen normaalijakauman tapauksessa
satunnaismuuttujien X ja Y korreloimattomuus on
yhtäpitävää niiden riippumattomuuden kanssa.
• Huomautuksia:
–
–
TKK
Satunnaismuuttujien riippumattomuudesta seuraa aina niiden
korreloimattomuus.
Satunnaismuuttujien korreloimattomuudesta ei yleisesti seuraa
niiden riippumattomuus.
(c) Ilkka Mellin (2007)
33
Kaksiulotteinen normaalijakauma
Korreloimattomuus vs riippumattomuus:
Perustelu 1/3
•
•
•
TKK
Oletetaan, että satunnaismuuttujat X ja Y noudattavat kaksiulotteista
normaalijakaumaa:
(X, Y) ∼ N2(µX, µY, σX2, σY2, ρXY)
Jos satunnaismuuttujat X ja Y ovat riippumattomia, niin ne ovat myös
korreloimattomia, koska satunnaismuuttujien riippumattomuudesta
seuraa aina niiden korreloimattomuus; ks. lukua Moniulotteiset
satunnaismuuttujat ja jakaumat.
Oletetaan nyt, että satunnaismuuttujat X ja Y korreloimattomia eli
ρXY = 0
(c) Ilkka Mellin (2007)
34
Kaksiulotteinen normaalijakauma
Korreloimattomuus vs riippumattomuus:
Perustelu 2/3
•
Kaksiulotteisen normaalijakauman tiheysfunktio on
f XY ( x, y ) =
1
2
2πσ X σ Y 1 − ρ XY
2


1
exp −
(
,
)
Q
x
y

2
ρ
2(1
)
−


XY
2
 x − µ X   y − µY 
 x − µ X  y − µY 
+
−
ρ
2
Q ( x, y ) = 
XY 
  σ 
 σ 
σ
σ

 




X
Y
X
Y
•
TKK
Jos ρXY = 0, niin
2
2


1
 1  x − µ X   y − µY   
exp − 
f XY ( x, y ) =
+



2πσ X σ Y
2
σ X   σ Y   
 

 1  x − µ  2 
 1  y − µ  2 
1
1
X
Y
=
exp − 
exp − 
⋅

 
2
2
σ
σ
2πσ X
  2πσ Y
 
X
Y
 
 
= f X ( x ) fY ( y )
(c) Ilkka Mellin (2007)
35
Kaksiulotteinen normaalijakauma
Korreloimattomuus vs riippumattomuus:
Perustelu 3/3
•
•
TKK
Jos siis ρXY = 0, niin
f XY ( x, y ) = f X ( x) fY ( y )
jossa fX(x) ja fY(y) ovat satunnaismuuttujien X ja Y reunajakaumien
tiheysfunktiot.
Koska oletuksesta ρXY = 0 seuraa, että kaksiulotteisen
normaalijakauman tiheysfunktio voidaan esittää reunajakaumiensa
tiheysfunktioiden tulona, niin satunnaismuuttujat X ja Y ovat tällöin
rippumattomia; ks. lukua Moniulotteiset satunnaismuuttujat ja jakaumat.
(c) Ilkka Mellin (2007)
36
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat 1/2
• Kaksiulotteisen normaalijakauman ehdolliset jakaumat
ovat normaalisia:
( X Y = y ) ~ N µ X Y , σ X2 Y
jossa
σX
µ X Y = E( X Y = y ) = µ X + ρ XY
( y − µY )
(
)
σY
2
)σ X2
σ X2 Y = Var( X Y = y ) = (1 − ρ XY
TKK
(c) Ilkka Mellin (2007)
37
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat 2/2
• Kaksiulotteisen normaalijakauman ehdolliset jakaumat
ovat normaalisia:
(Y X = x) ~ N µY X , σ Y2 X
jossa
σY
µY X = E(Y X = x) = µY + ρ XY
(x − µX )
(
)
σX
2
)σ Y2
σ Y2 X = Var(Y X = x) = (1 − ρ XY
TKK
(c) Ilkka Mellin (2007)
38
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat:
Perustelu 1/4
•
•
•
TKK
Esitetään perustelu kaksiulotteisen normaalijakauman ehdollisten
jakaumien normaalisuudelle tarkastelemalla satunnaismuuttujan Y
ehdollista jakaumaa satunnaismuuttujan X suhteen (ehdolla X = x).
Olkoon
f XY ( x, y ) = satunnaismuuttujien X ja Y yhteisjakauman
tiheysfunktio
fY | X ( y | x) = satunnaismuuttujan Y ehdollisen jakauman
tiheysfunktio satunnaismuuttujan X suhteen
f X ( x)
= satunnaismuuttujan X reunajakauman tiheysfunktio
Ehdollisen jakauman tiheysfunktion määritelmän mukaan
f XY ( x, y )
fY | X ( y | x ) =
f X ( x)
(c) Ilkka Mellin (2007)
39
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat:
Perustelu 2/4
•
Kaksiulotteisen normaalijakauman tiheysfunktio f XY ( x, y ) :
f XY ( x, y ) =
1
2
2πσ X σ Y 1 − ρ XY
2


1
exp −
(
,
)
Q
x
y

2
ρ
2(1
)
−


XY
2
 x − µ X   y − µY 
 x − µ X  y − µY 
+
− 2 ρ XY 
Q ( x, y ) = 


 σ 
σ
σ
σ

 




X
Y
X
Y
•
TKK
Satunnaismuuttujan X reunajakauman tiheysfunktio f X ( x) :
2

1
 1  x − µ X  
f X ( x) =
exp − 
 
σ
2
2πσ X
 
X
 
(c) Ilkka Mellin (2007)
40
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat:
Perustelu 3/4
•
Nähdään (melko) helposti, että
f ( x, y )
fY | X ( y | x) = XY
f X ( x)
=


1
exp − 2
Q( y | x) 
2
2
2
2πσ Y (1 − ρ XY )
 2σ Y (1 − ρ XY )

1


σ
Q( y | x) =  y − µ y − ρ XY Y ( x − µ X ) 
σX


TKK
(c) Ilkka Mellin (2007)
2
41
Kaksiulotteinen normaalijakauma
Ehdolliset jakaumat:
Perustelu 4/4
•
Siten satunnaismuuttujan Y ehdollinen jakauma satunnaismuuttujan X
suhteen (ehdolla X = x) on normaalinen:
(Y X = x) ~ N( µY X , σ Y2 X )
jossa
σ
µY X = E(Y X = x) = µY + ρ XY Y ( x − µ X )
σX
2
)σ Y2
σ Y2 X = Var(Y X = x) = (1 − ρ XY
TKK
(c) Ilkka Mellin (2007)
42
Kaksiulotteinen normaalijakauma
Ehdolliset odotusarvot
• Satunnaismuuttujan X ehdollinen odotusarvo eli
regressiofunktio satunnaismuuttujan Y suhteen
E( X Y = y ) = µ X + ρ XY
σX
( y − µY )
σY
on lineaarinen satunnaismuuttujan Y arvojen y suhteen.
• Satunnaismuuttujan Y ehdollinen odotusarvo eli
regressiofunktio satunnaismuuttujan X suhteen
σY
E(Y X = x) = µY + ρ XY
(x − µX )
σX
on lineaarinen satunnaismuuttujan X arvojen x suhteen.
TKK
(c) Ilkka Mellin (2007)
43
Kaksiulotteinen normaalijakauma
Regressiosuorat
• Kaksiulotteisen multinormaalijakauman regressiokäyrät
ovat suoria, joiden yhtälöt voidaan kirjoittaa satunnaismuuttujan X saamien arvojen x funktioina seuraaviin
muotoihin:
(i) x:n regressiosuora y:n suhteen:
1 σY
(x − µX )
y = µY +
×
ρ XY σ X
(ii) y:n regressiosuora x:n suhteen:
σY
y = µY + ρ XY
(x − µX )
σX
TKK
(c) Ilkka Mellin (2007)
44
Kaksiulotteinen normaalijakauma
Regressiosuorien ominaisuudet 1/5
• Olkoon
y = µY +
1
ρ XY
×
σY
(x − µX )
σX
x:n regressiosuora y:n suhteen ja
σY
y = µY + ρ XY
(x − µX )
σX
y:n regressiosuora x:n suhteen.
TKK
(c) Ilkka Mellin (2007)
45
Kaksiulotteinen normaalijakauma
Regressiosuorien ominaisuudet 2/5
• Regressiosuorilla on seuraavat ominaisuudet:
(i) Molemmat regressiosuorat kulkevat jakauman
todennäköisyysmassan painopisteen (µX, µY) kautta.
(ii) Molempien regressiosuorien kulmakertoimilla ja
satunnaismuuttujien X ja Y korrelaatiokertoimella
ρXY on aina sama merkki:
− Suorat ovat nousevia, jos ρXY > 0.
− Suorat ovat laskevia, jos ρXY < 0.
(iii) x:n regressiosuora y:n suhteen on aina jyrkempi kuin
y:n regressiosuora x:n suhteen, koska
2
ρ XY
≤1
TKK
(c) Ilkka Mellin (2007)
46
Kaksiulotteinen normaalijakauma
Regressiosuorien ominaisuudet 3/5
(iv) x:n regressiosuora y:n suhteen on sitä loivempi mitä
voimakkaammin satunnaismuuttujat X ja Y ovat
korreloituneita eli mitä suurempi on
|ρXY|
(v) y:n regressiosuora x:n suhteen on sitä jyrkempi mitä
voimakkaammin satunnaismuuttujat X ja Y ovat
korreloituneita eli mitä suurempi on
|ρXY|
TKK
(c) Ilkka Mellin (2007)
47
Kaksiulotteinen normaalijakauma
Regressiosuorien ominaisuudet 4/5
(vii) Molemmat regressiosuorat ovat sitä jyrkempiä mitä
pienempi on satunnaismuuttujan X varianssi
σ X2
(vi) Molemmat regressiosuorat ovat sitä jyrkempiä mitä
suurempi on satunnaismuuttujan Y varianssi
σ Y2
(viii) Regressiosuorat yhtyvät täsmälleen silloin, kun
ρ = ±1
TKK
(c) Ilkka Mellin (2007)
48
Kaksiulotteinen normaalijakauma
Regressiosuorien ominaisuudet 5/5
(ix) Jos ρ = 0, niin regressiosuorat ovat kohtisuorassa
toisiaan vastaan ja x:n regressiosuora y:n suhteen on
x = µX
ja y:n regressiosuora x:n suhteen on
y = µY
jolloin x:n saamat arvot eivät riipu y:n saamista
arvoista ja y:n saamat arvot eivät riipu x:n saamista
arvoista.
TKK
(c) Ilkka Mellin (2007)
49
Kaksiulotteinen normaalijakauma
Esimerkki:
Regressiosuorat 1/2
•
•
Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
x:n regressiosuora muuttujan y suhteen on
1 σY
y = µY +
×
(x − µX )
ρ XY σ X
1
1
×
( x − 4) = −1.0406 + 1.0101x
0.7
2
y:n regressiosuora muuttujan x suhteen on
= 3+
•
y = µY + ρ XY
= 3 + 0.7
TKK
σY
(x − µX )
σX
1
( x − 4) = 1.0201 + 0.4950 x
2
(c) Ilkka Mellin (2007)
50
Kaksiulotteinen normaalijakauma
Esimerkki:
Regressiosuorat 2/2
• Olkoon
(X, Y) ∼ N2(4, 3, 2, 1, 0.7)
• Kuva oikealla esittää jakauman
tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat
(likimäärin) todennäköisyyksiä
68 %, 95 % ja 99.7 %.
• Kuvan suorista jyrkempi
y = −1.0406 + 1.0101× x
on x:n regressiosuora y:n suhteen
ja suorista loivempi
y = 1.0201 + 0.4950 × x
on y:n regressiosuora x:n suhteen.
TKK
N2(4, 3, 2, 1, 0.7)
10
8
6
4
2
0
-2
(c) Ilkka Mellin (2007)
-2
0
2
4
6
8
10
51
Kaksiulotteinen normaalijakauma
Regressiosuorat ja standardointi
• Regressiosuorat voidaan kirjoittaa standardoitujen
muuttujien
x′ =
x − µX
σX
y′ =
y − µY
σY
funktioina seuraaviin muotoihin:
1
′
y =
x′
x:n regressiosuora y:n suhteen
ρ XY
y′ = ρ XY x′
y:n regressiosuora x:n suhteen
• Standardoitujen muuttujien välisten regressiosuorien
kulmakertoimet ovat siis toistensa käänteislukuja.
TKK
(c) Ilkka Mellin (2007)
52
Kaksiulotteinen normaalijakauma
Ehdolliset varianssit 1/2
• Satunnaismuuttujan X ehdollinen varianssi
satunnaismuuttujan Y suhteen on korkeintaan yhtä suuri
kuin satunnaismuuttujan X varianssi:
2
0 ≤ σ X2 Y = (1 − ρ XY
)σ X2 ≤ σ X2
• Jos siis ρXY ≠ 0, niin satunnaismuuttujan X ehdollinen
jakauma satunnaismuuttujan Y suhteen vaihtelee x:n
regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja X oman painopisteensä ympärillä.
• Lisäksi pätee, että
σ X2 Y = 0 ⇔ ρ XY = ±1
σ X2 Y = σ X2
TKK
⇔
ρ XY = 0
(c) Ilkka Mellin (2007)
53
Kaksiulotteinen normaalijakauma
Ehdolliset varianssit 2/2
• Satunnaismuuttujan Y ehdollinen varianssi
satunnaismuuttujan X suhteen on korkeintaan yhtä suuri
kuin satunnaismuuttujan Y varianssi:
2
0 ≤ σ Y2| X = (1 − ρ XY
)σ Y2 ≤ σ Y2
• Jos siis ρXY ≠ 0, niin satunnaismuuttujan Y ehdollinen
jakauma satunnaismuuttujan X suhteen vaihtelee y:n
regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja Y oman painopisteensä ympärillä.
• Lisäksi pätee, että
σ Y2 X = 0 ⇔ ρ XY = ±1
σ Y2 X = σ Y2 ⇔ ρ XY = 0
TKK
(c) Ilkka Mellin (2007)
54
Kaksiulotteinen normaalijakauma
Ehdolliset varianssit:
Kommentti
• Satunnaismuuttujan X ehdollisen varianssin kaavasta
2
σ X2 |Y = (1 − ρ XY
)σ X2
ja satunnaismuuttujan Y ehdollisen varianssin kaavasta
2
σ Y2| X = (1 − ρ XY
)σ Y2
nähdään välittömästi, että kumpikaan ehdollisista
variansseista ei riipu ehtomuuttujan arvoista.
• Siten kaksiulotteisen normaalijakauman kummankaan
ehdollisen jakauman todennäköisyysmassan vaihtelu
vastaavan regressiosuoran ympärillä ei riipu ehtomuuttujan arvoista.
TKK
(c) Ilkka Mellin (2007)
55
Kaksiulotteinen normaalijakauma
Esimerkki:
Ehdolliset varianssit
•
•
•
TKK
Olkoon
(X, Y) ~ N2(4, 3, 2, 1, 0.7)
Satunnaismuuttujan X ehdollinen varianssi satunnaismuuttujan Y
suhteen on
2
0 ≤ σ X2 Y = (1 − ρ XY
)σ X2 = (1 − 0.7 2 ) × 2 = 1.02 ≤ 2 = σ X2
Satunnaismuuttujan Y ehdollinen varianssi satunnaismuuttujan X
suhteen on
2
0 ≤ σ Y2 X = (1 − ρ XY
)σ Y2 = (1 − 0.7 2 ) × 1 = 0.51 ≤ 1 = σ Y2
(c) Ilkka Mellin (2007)
56