Download Report

TAMS65 - Föreläsning 12
Test av fördelning
Martin Singull
MAI - LiU
Linköping
19 maj, 2015
1 / 36
Innehåll
I
Grundläggande χ2 -test
I
Test av given fördelning
I
Homogenitetstest
2 / 36
Det grundläggande χ2 -testet
Ett slumpmässigt försök kan ge resultaten A1 , . . . , Ak . Vid n
oberoende upprepningar inträffade Ai totalt Ni gånger,
i = 1, 2, . . . , k.
Vi vill pröva
H0 : P(Ai ) = pi för i = 1, . . . , k,
där p1 , . . . , pk är givna kända tal,
mot
H1 : P(Ai ) 6= pi för minst ett i bland 1, . . . , k.
3 / 36
Det grundläggande χ2 -testet, forts.
Teststorhet:
Q=
k
X
(Ni − npi )2
npi
i=1
som ofta skrivs
Pk
i=1
(oi − ei )2
ei
!
Avvikelse från H0 visar sig genom stora Q-värden.
H0 förkastas alltså om Q > c.
4 / 36
Det grundläggande χ2 -testet, forts.
Bakgrunden är, att den k-dimensionella stokastiska variabeln
(N1 , . . . , Nk ), då H0 är sann, har multinomialfördelning med
parametrarna n, p1 , . . . , pk , och då gäller speciellt att
Ni ∼ Bin(n, pi ).
I teststorheten jämför vi alltså Ni med dess väntevärde då H0 är
sann d.v.s. E(Ni ) = npi .
Låga Q-värden tyder på god överensstämmelse mellan Ni och
E(Ni ) = npi och då finns det ingen anledning att betvivla nollhypotesen.
Man kan visa att den s.v. Q är approx χ2 (k − 1) om H0 är sann.
5 / 36
6 / 36
Det grundläggande χ2 -testet, forts.
Förlusten av 1 frihetsgrad
beror på att de s.v. N1 , . . . , Nk är
Pk
beroende
1 Ni = n .
χ2 (k − 1)
.
Den kritiska gränsen c ges alltså i
χ2 (k − 1)-tabell.
α
::::
:::::::
:::::::::::
::;:::::::::
Villkor: Approximationen med χ2 -fördelning fungerar tillfredsställande om npi > 5.
Om npi < 5 får man ”slå ihop” fall, se exempel nedan.
7 / 36
Exempel
En maskin tillverkar enheter som klassas i fyra kategorier nämligen topkvalitet (T ), hög kvalitet (H), god kvalitet (G ) och dålig
kvalitet (D). Av lång erfarenhet vet man att P(T ) = 0.4,
P(H) = 0.3, P(G ) = 0.2 och P(D) = 0.1.
En ny maskin som tillverkar samma sorts enheter har köpts och 500
enheter tillverkade av denna maskin har fått följande klassningar
T
220
H
129
G
91
D
60
Kan man med någon säkerhet hävda att den nya maskinen har en
annan fördelning över kvalitetsklasserna än den gamla? Genomför
ett lämpligt χ2 -test på nivån 0.05.
8 / 36
Exempel, forts.
9 / 36
Test av en given fördelning
Vid test av given fördelning får vi skilja på fallen med diskret
respektive kontinuerlig fördelning.
Test av en given diskret fördelning
Då blir händelserna Ai i allmänhet {X = i}, men vissa Ai måste
man slå ihop till större händelser.
Viktigt: Alla tänkbara värden på X måste finnas med i någon
händelse.
10 / 36
Test av en given fördelning, forts.
Test av given kontinuerlig fördelning
Man har n observationer x1 , . . . , xn och vill undersöka nollhypotesen H0 att en täthetsfunktion f (x) passar till datamaterialet.
Man delar in tallinjen i k stycken intervall (tumregel: antalet
intervall ≈ antalet observationer/10),
...
...
ai−2 ai−1
ai
ai+1 ai+2
räknar hur många observationer som finns i de olika intervallen och
får de observerade frekvenserna N1 , . . . , Nk .
11 / 36
Test av en given fördelning, forts.
Låt Ai vara händelsen att en observation hamnar i ]ai−1 , ai ] och
Z ai
pi =
f (x)dx,
ai−1
där f (x) är täthetsfunktionen som ska prövas.
Observera att intervallen måste täcka in hela det område där
f (x) 6= 0. Därför kan man behöva intervall av typen
(−∞, a1 ]
och
]ak−1 , ∞).
12 / 36
Test av en given fördelning, forts.
I både fallen ovan gäller att om sannolikhetsfunktionen respektive
täthetsfunktionen innehåller okända parametrar, så måste dessa
skattas innan man beräknar pi .
OBS Man förlorar en frihetsgrad i Q:s χ2 -fördelning för varje
skattad parameter i nollhypotesens sannolikhetsfunktion respektive
täthetsfunktion.
13 / 36
Exempel
I ett datamaterial med 160 observationer har man stickprovsmedelvärdet x̄ = 2.27 och stickprovsstandardavvikelsen s = 2.12.
Vi vill undersöka om datamaterialet kan vara normal- fördelat,
d.v.s.
H0 : Xj ∼ N(µ, σ)
mot
H1 : Normalfördelningen passar inte.
Mätvärdena är givna med en decimal. Genom att utnyttja två
decimaler i klassgränserna undviker man problemet att någon
observation hamnar precis på klassgränsen.
14 / 36
Exempel, forts.
Indelning i fack:
Fack
] − ∞, 1.35]
]1.35, 2.75]
]2.75, 4.15]
]4.15, 5.55]
]5.55, 6.95]
]6.95, ∞[
Obs. frekv.
Ni
65
52
15
15
9
4
Vi skattar parametrarna i normalfördelningen med µ̂ = x̄ = 2.27
och σ̂ = s = 2.12 för att veta vilken normalfördelning som vi vill
jämföra mot.
15 / 36
Exempel, forts.
Vi har då följande sannolikheter för de olika facken
Xj − µ
1.35 − µ
1.35 − µ
≤
=Φ
,
p1 = P (Xj ≤ 1.35) = P
σ
σ
σ
1.35 − 2.27
p1 ≈ Φ
= Φ(−0.43) = 0.3336,
2.12
Xj − µ
2.75 − µ
1.35 − µ
p2 = P (1.35 < Xj ≤ 2.75) = P
<
≤
σ
σ
σ
2.75 − µ
1.35 − µ
=Φ
−Φ
,
σ
σ
2.75 − 2.27
1.35 − 2.27
−Φ
= Φ(0.23) − Φ(−0.43)
p2 ≈ Φ
2.12
2.12
= 0.5910 − 0.3336 = 0.2574.
16 / 36
Exempel, forts.
Vidare har vi att
4.15 − 2.27
2.75 − 2.27
p3 ≈ Φ
−Φ
2.12
2.12
= Φ(0.89) − Φ(0.23) = 0.8133 − 0.5910 = 0.2223,
p4 ≈ 0.9394 − 0.8133 = 0.1261,
p50 ≈ 0.9864 − 0.9394 = 0.0470
och
p60 ≈ 1 − 0.9864 = 0.0136.
17 / 36
Exempel, forts.
Vi har nu följande indelning i fack.
Fack
] − ∞, 1.35]
]1.35, 2.75]
]2.75, 4.15]
]4.15, 5.55]
]5.55, 6.95]
]6.95, ∞[
Obs. frekv.
Ni
65
52
15
15
9
4
Skattad
slh. pi ≈
0.3336
0.2574
0.2223
0.1261
0.0470
0.0136
Förv. frekv.
160pi ≈
53.4
41.2
35.6
20.2
7.5
2.2
18 / 36
Exempel, forts.
Vi måste slå ihop de två sista klasserna och får då observerad
frekvens 13 samt p5 ≈ 0.0606 med förväntad frekvens 9.7.
Teststorhet:
Q=
5
X
(Ni − 160pi )2
≈ 19.73
160pi
i=1
Den s.v. Q är approx χ2 (5 − 1 − 2) om H0 är sann, eftersom vi till
slut bara har fem klasser och skattade två parametrar.
För α = 0.01 får vi den kritiska gränsen 9.22 ur χ2 (2)-tabell.
19.73 > 9.22. Alltså kan H0 förkastas. Datamaterialet kommer
med stor sannolikhet inte från normalfördelning.
19 / 36
Anm. Det finns flera andra, ofta effektivare, metoder för att testa
normalfördelningsantagandet, men den här metoden bygger direkt
på iden att jämföra histogrammet med täthetsfunktionen för
normalfördelningen.
20 / 36
Något om att välja sannolikhetsfördelning
Om man vill undersöka om en viss sannolikhetsfunktion eller
täthetsfunktion passar till ett datamaterial kan man
1a i det diskreta fallet göra ett stolpdiagram och jämföra med
den aktuella sannolikhetsfunktionen;
1b i det kontinuerliga fallet göra ett histogram och jämföra med
den aktuella täthetsfunktionen, se den inledande föreläsningen;
2 göra χ2 -test av fördelning, men vara försiktig med tolkningen (att H0 inte kan förkastas behöver tex. inte innebära att
H0 är sann);
3 utnyttja Kolmogorov-Smirnovs test;
4 använda ”fördelningspapper” (probability plotting) om man
har observationer från en kontinuerlig fördelning (detta ingår
inte i kursen, men det finns i många datorprogram).
21 / 36
Kolmogorov-Smirnovs test - Ett stickprov
Den empiriska fördelningsfunktionen för ett stickprov x1 , . . . , xn
ges av
n
1X
Fn (x) =
I{xi ≤x} ,
n
i=1
där
I{xi ≤x}
(
1
=
0
om xi ≤ x,
annars.
Om man vill undersöka om en viss fördelningsfunktion, F (x),
passar ett stickprov är det av intresse att titta på differensen
|Fn (x) − F (x)| och då speciellt Kolmogorov-Smirnov teststorheten
D = maxx |Fn (x) − F (x)|.
22 / 36
Kolmogorov-Smirnovs test, forts.
23 / 36
Kolmogorov-Smirnovs test, forts.
För stora värden på n har vi approximativt att
P
√
∞
X
2 2
nD ≤ c ≈ 1 − 2
(−1)k−1 e −2k c = H(c).
k=1
Ofta ger första termen i serien tillräckligt god approximation av
Kolmogorov-Smirnovs test, som leder till följande approximativa
test.
Förkasta H0 , d.v.s. likhet i fördelning, på nivån α om
r
1 α
D ≥ − ln
.
2n
2
Om man måste skatta parametrar, så fungerar inte denna approximation och man måste använda andra metoder. Det finns tabeller
för t.ex. normal- och exponentialfördelning.
24 / 36
Kolmogorov-Smirnovs test - Två stickprov
Man kan även testa om två stickprov kommer från samma
fördelning med Kolmogorov-Smirnovs test.
Beräkna den empiriska fördelningen för de båda stickproven, Fn (x)
och Gm (x), och teststorheten
D = maxx |Fn (x) − Gm (x)|.
Man kan då visa att
r
P
mn
D≤t
m+n
≈ H(t)
och det approximativa testet.
Förkasta H0 , d.v.s. likhet i fördelning, på nivån α om
r
m + n α
D≥ −
ln
2mn
2
25 / 36
Kolmogorov-Smirnovs test - MATLAB
KSTEST Single sample Kolmogorov-Smirnov goodness-of-fit hypothesis test.
H = KSTEST(X,CDF,ALPHA,TYPE) performs a Kolmogorov-Smirnov (K-S) test
to determine if a random sample X could have the hypothesized, continuous
cumulative distribution function CDF. CDF is optional: if omitted or
empty, the hypothetical c.d.f is assumed to be a standard normal, N(0,1).
ALPHA and TYPE are optional scalar inputs: ALPHA is the desired
significance level (default = 0.05); TYPE indicates the type of test
(default = ’unequal’). H indicates the result of the hypothesis test:
H = 0 => Do not reject the null hypothesis at significance level ALPHA.
H = 1 => Reject the null hypothesis at significance level ALPHA.
KSTEST2 Two-sample Kolmogorov-Smirnov goodness-of-fit hypothesis test.
H = KSTEST2(X1,X2,ALPHA,TYPE) performs a Kolmogorov-Smirnov (K-S) test
to determine if independent random samples, X1 and X2, are drawn from
the same underlying continuous population.
26 / 36
Test om normalfördelning
För att testa normalfördelning kan man använda
I
Lilliefors test (h = lillietest(x)) - modifiering av
Kolmogorov-Smirnovs test med skattade parametrar,
eller andra test som man kan visa är bättre (d.v.s. har bättre
styrka) t.ex.
I
Shapiro-Wilks test,
I
Anderson–Darlings test.
27 / 36
Homogenitetstest
Vi vill testa om r försöksserier är homogena i meningen att P(Ai )
för varje i är lika stor för samtliga försöksserier, se boken och
formelsamlingen.
Tillämpning: Man kan undersöka om r stickprov kommer från
samma fördelning.
Anm. Det finns också ett så kallat oberoendetest. Det har
praktiken samma teststorhet som homogenitetstestet, men den
skrivs annorlunda och tolkningen är inte heller densamma.
28 / 36
Exempel - Homogenitetstest
TABLE - Sample results of cell phone preferences for male and
female users (observed frequencies).
Sex
Male
Female
Total
Cell phone preferences
Android iPhone Windows
20
40
20
30
30
10
50
70
30
Total
80
70
150
H0 : Kvinnor och män föredrar ”Android” med samma sannolikhet
p1 , ”iPhone” med samma sannolikhet p2 och ”Windows” med
samma sannolikhet p3 .
H1 : Skillnad finns i fråga om preferenser.
Nivå på testet 0.05.
29 / 36
Exempel - Homogenitetstest, forts.
30 / 36
Exempel - Homogenitetstest, forts.
31 / 36
Exempel - Homogenitetstest
I en studie ville man undersöka om inositol (ett ämne som finns i
modersmjölk) minskar risken för ögonskador hos för tidigt födda
barn, (New England Journal of Medicine, 1992). Studien omfattade 220 för tidigt födda barn som slumpmässigt delades in i två
grupper med 110 i varje. Den ena gruppen fick intravenös tillförsel
av inositol, medan den andra fick standardbehandlingen. Antalet
barn med ögonskador var 14 i inositolgruppen och 29 i den andra.
Låt p1 och p2 beteckna riskerna för ögonskador i de båda grupperna. Det är rimligt att anta att barnen får ögonskador oberoende
av varandra.
Kan man med någon säkerhet hävda att p1 6= p2 ? Besvara frågan
med hjälp av ett lämpligt test på nivån 5% eller ett konfidensintervall med konfidensgraden 95%
Här kan man konstruera Ip1 −p2 eller göra ett homogenisitetstest.
32 / 36
Exempel, forts.
33 / 36
Hemuppgift
34 / 36
Hemuppgift
J
F
M
A
M
J
J
A
S
O
N
D
S:a
Ish.sp.
31
24
36
22
19
14
17
19
19
19
10
10
240
Samtl.
61-65
8.1
7.8
9.6
9.7
9.3
8.3
8.2
7.9
8.2
7.8
7.5
7.6
100%
Pröva
H0 : Ishockyspelarnas födelsedagar har samma fördelning
över årets månader som den övriga befolkningens.
på nivån 0.01.
Svar: Q = 25.75 > 24.72;
d.v.s. H0 förkastas.
35 / 36
Fler kurser i Matematisk Statistik
I
TAMS46 - Sannolikhetslära, fortsättningskurs
I
TAMS17 - Statistisk teori, fortsättningskurs
I
TAMS39 - Multivariat statistik
I
TAMS38 - Försöksplanering och biostatistik
I
TAMS32 - Stokastiska processer
I
TAMS29 - Stok. processer för finansmarknadsmodeller
Se www.mai.liu.se för mer information.
36 / 36