STAT111 Statistikk Metoder
[email protected]
Forelesning 14 + 15
Enveis ANOVA
1. Introduksjon
a. Z-, t- test i Uka 10: tester for forventningsdifferanse i to populasjoner (grupper)
b. ANOVA (analysis of variance): tester om det er forskjeller mellom forventningene
i flere enn to populasjoner (grupper), spesielt når gruppene er utsatt til noen
behandlinger (treatments).
I begge tilfeller, sammenligner vi gjennomsnitt av stikkprøver fra hver populasjon.
Sannsynligheten for at det er signifikante forskjeller mellom populasjonsforventninger
øker når forskjeller mellom gjennomsnittene av stikkprøver øker.
Anta at vi har I uavhengige grupper fra I populasjoner og forventningen til den i’te
populasjonen er i , i  1, 2,..., I . Hver gruppe har J observasjoner fra uavhengige og
normalfordelte S. V. med sammen varians  2 . Vi skal nå teste
H 0 : 1  2  ...  I
H : det er forskjell på minst ett par av i ’ s
Dersom H 0 forkastes, blir det neste å finne ut hva avviket fra H 0 består av (uka 13,
Multiple sammenlikninger)
La Yij betegne den j’te S.V. i den i’te gruppen ( yij er tilsvarende observasjon)
i  1, 2,..., I ; j  1, 2,..., J . Da har vi:
J
i’te gruppe gjennomsnitt Yi 
I
Totall gjennomsnitt Y 
Y
j 1
ij
: gjennomsnitt av S.V. i gruppen i, i=1,2,…, I
J
J
 Y
i 1 j 1
IJ
I
ij

Y
i 1
I
i
: gjennomsnitt av alle S.V
Hvis H 0 er sann, da har vi EY1 j  EY2 j  ...  EYIj ; j  1, 2,..., J og observerte gruppe
gjennomsnittene y1 , y2 ,..., yI vil nærmer hverandre. Vi kan derfor sammenligne
variasjoner mellom disse gjennomsnittene (between-group variation) med variasjoner
inne hver gruppe (within-group variation), og gjennomføre videre analyse. Variasjoner
i dataene kan måles ved bruk av kvadratsummer.
STAT111 Statistikk Metoder
[email protected]
2. ANOVA tabell og F test
2.1) ANOVA tabell
ANOVA er en type av varians analyse eller variasjon analyse. Resultatet av en varians
analyse oppsummeres i ANOVA tabell (Tabellen 11.2 på boken)
*Treatments betyder populasjoner eller grupper
a. Kvadratsummene (sum of squares)
I
(1) SSTr = J  (Yi  Y )2 (treatment sum of squares): kvadratsum mellom grupper,
i 1
den måler variasjoner mellom gruppe gjennomsnittene (between-group variation)
(*Vi kan tenke på å sette Zi  Yi , da blir Z 
I
 (Y
i 1
i
Z1  ...  Z I
 Y , og
I
I
 Y )   ( Zi  Z )2 )
2
i 1
I
J
(2) SSE =  (Yij  Yi )2 (error sum of squares): kvadratsum innen grupper, den
i 1 j 1
måler variasjonen innen grupper (within-group variation).
(I) Vi har allerede at: hvis X1, X2, X3, … X n er uavhengige stokastiske variabler fra
N ( , 2 ) . X 
S2 
X 1  X 2  ...  X n
X  X 2  ...  X n
, da er X  1
(sample mean) og
n
n
1 n
( X i  X )2

n  1 i 1
(n  1)S 2 /  2
(sample
variance)
uavhengige.
 (n 1)
Eks 1. Bevis
a) SSTr/  2
b) SSE/  2
 ( I  1) hvis H 0 er sann
 ( I ( J 1)) uansett om H 0 er sann eller feil
(M.P.F)
Dessuten
STAT111 Statistikk Metoder
[email protected]
Vi har nå at:
c) E (SSTr/  2 )  I  1  E (
SSTr
)   2 hvis H 0 er sann
I 1
d) E (SSE/  2 )  I ( J -1)  E (
I
(3) SST =
J
 (Y
i 1 j 1
ij
SSE
)   2 uansett om H 0 er sann eller feil
I ( J  1)
 Y )2 : total kvadratsum, alla dataens variasjon rundt det store
gjennomsnittet. Vi bruker SST for å måle den totale variasjonen i dataene
Eks 2. Bevis SST = SSTr + SSE og SST/  2
 ( IJ  1) hvis H 0 er sann
(M.P.F)
Vi har nå at: E (SST/  2 )  IJ  1  E (
SST
)   2 hvis H 0 er sann
IJ  1
b. Frihetsgrader df (degree of freedom)
Tallet vi dividerer kvadratsummene med for å få variansestimatene kalles
frihetsgrader
dfG = I -1: frihetsgrader mellom grupper, antall grupper I minus 1
dfE = I(J-1): frihetsgrader til innen grupper, antall observasjoner totalt minus
antall grupper
dfT = IJ – 1: totalt antall frihetsgrader, antall observasjoner totalt minus 1
Vi kan se med engang at dfT = dfG + dfE
c. Mean square for treatments (MSTr) og Mean square for error (MSE)
MSTr =
SSTr
: en forventningsrett estimator for  2 , hvis H 0 er sann (fra a, c)).
I 1
Samme som SSTr, måler MSTr variasjon mellom grupper
MSE =
SSE
: en forventningsrett estimator for  2 , uansett om H 0 er sann eller
I ( J  1)
feil (fra a, d)). Samme som SSE, måler MSE variasjon innen gruppen
d. Variasjons ratio f
f=
MSTr
: variasjon mellom grupper / variasjon innen gruppen
MSE
STAT111 Statistikk Metoder
[email protected]
E (MSTr)  2

 1.
Fra c, har vi at hvis H 0 er sann,
E (MSE)  2
Eks 3. Bevis E (MSTr)   2 hvis H 0 ikke er sann
J
I
 Yij
j 1
Hint: Vi har allerede Yi 
,Y 
J
I
J
I
 Y
i 1 j 1
ij

IJ
Y
i 1
I
i
I
  Yi  IY
i 1
I
SSTr  J  (Yi  Y ) 2  J  (Y i2  2Yi Y  Y 2 )
i 1
Vi har også:
i 1
I
 J ( Y i2 2Y
i 1
I
I
i 1
i 1
 Y i  IY 2 )  J ( Y i2 IY 2 )
I
La  

i 1
I
i
I
I
I
I
i 1
i 1
i 1
i 1
  ( i  )2   (i 2  2i    2 )   (i 2  2 )   i 2  I  2 ,
(M.P.F)
Eks 3. betyr også at hvis MSTr/ MSE er stor, er det stor variasjon mellom gruppene,
J
og vi forkaster H 0 : jo mer ett eller flere av gruppegjennomsnittene Yi 
Y
j 1
ij
J
avviker
I
fra det totale gjennomsnitt Y 
Y
i 1
I
i
, desto større blir andelen av behandlingers
(treatments) variasjon i forhold til totalvariasjon, noe som antyder på at H 0 må
forkastes.
2.2 F test
Fra Uka 6, har vi at hvis U   2 (m) , V
variabelen F 
 2 (n) og U, V er uavhengige. Da er
U /m
Fisher-fordelt med m og n frihetsgrader: F
V /n
Eks 4. Bevis F =
MSTr
 F ( I  1, I ( J  1)) hvis H 0 er sann
MSE
(M.P.F)
E (MSTr)  2

 1 og vil F-verdi nærme 1.
Hvis H 0 er sann, har vi
E (MSE)  2
F (m, n) .
STAT111 Statistikk Metoder
[email protected]
Hvis H 0 er feil, vil variasjon mellom gruppene være stor i forhold til den variasjonen
innen gruppen, og F-verdien blir større enn 1. Hvis F-verdien er større enn kritisk
verdi (gitt et signifikansnivå og frihetsgrader), vil en forkaste H 0 , og konkluderer at
minst ett par av i ’s er forskjellige
Eks 5. Den følgende data kommer fra et eksperiment som sammenligner
graden av tilsmussing (Degree of Soiling) for stoff kopolymerisert med tre
forskjellige blandinger (Mixture) av metakrylsyre. Test om den graden av
tilsmussinger er identisk for de tre blandinger, ved signifikansnivå 0.01.
(M.P.F)
*Anbefalt hjemlesning: pp. 562 Testing for the assumption of equal variances
3. Mer om enveis ANOVA
3.1) Fast effekt modell (fixed effects model)
I seksjonene 1 og 2, er Yij S.V. og EYij  i i  1, 2,..., I ; j  1, 2,..., J . Vi kan faktisk
omskrive Yij som Yij  i   ij ,  ij
N (0,  2 ) ,  ij ’s uavhengige med hverandre:
I
La  

i 1
I
i
,  i  i    Yij     i   ij ,  ij
N (0,  2 ) og
I

i 1
i
 0 , da bli test:
H 0 : 1   2  ...   I  0
H1 : minst ett av  i  0 , i  1, 2,..., I
Vi kan betrakte  som «felles forventning» til alle I gruppene, og  i er avviket i i’te
gruppes forventning fra  . Hvis et eller flere  i er betydelig større en 0, skal H 0
forkastes.
Eks 6. Bevis E (MSTr)   2 
J I 2
i
I  1 i 1
(M.P.F)
STAT111 Statistikk Metoder
[email protected]
3.2) Tilfeldig effekt modell (random effect model)
Seksjon 3.1) betrakter  i som deterministisk avvik i i’te gruppes forventning fra  . I
mange tilfeller, kan det skje at de I gruppene i testen er tilfeldige valgt fra N grupper
og N er betydelig større en I, med  er «felles forventning» til alle N gruppene. I disse
tilfellene, kan  i betraktes være tilfeldig og vi betegne de som Ai , Ai
N (0,  A2 ) . Vi
kan nå omskrive Yij som
Yij    Ai   ij ,  ij
N (0,  2 ) , i  1, 2,..., I ; j  1, 2,..., J ,
 ij ’s og Ai ’s uavhengige med hverandre
Og nå H 0 : 1   2  ...   I  0 blir H 0 :  A2  0 , som betyr at det finnes ingen
variabilitet i avvikene mellom ulike grupper.
Eks 7. Bevis E (MSTr)   2 
J
 A2
I 1
(M.P.F)
Både Eks 6. og Eks 7. viser at hivs H 0 er sann, har vi
E (MSTr)  2

 1 og vil F=
E (MSE)  2
MSTr
MSTr
nærme 1, ellers vil F=
signifikant større en 1. Vi kan bruke den
MSE
MSE
samme F - testen i seksjon 2.
3.3) Enveis ANOVA med forskjellig utvalgsstørrelser
Vi antar nå at vi har I uavhengige grupper fra I behandlinger , og forventningen til
den i’te gruppen er i , i  1, 2,..., I . Den i’te gruppen har J i observasjoner fra
uavhengige og normalfordelte S.V. med sammen varians  2 , J1  J 2  ...  J I  n
ANOVA i denne sammenhengen.
(M.P.F)
3.4) Flere kommentarer til ANOVA:
a. Som vanlig, foretrekker vi flere observasjoner i test, for å øke stykke i testen
b. ANOVA er fleksibelt til nær-normal fordelinger, men hvis dataene er tydelig
skjevfordelte, eller det er stor forskjell på varianser mellom gruppene, skal vi prøve å
unngå ANOVA. (Vi kan bruke ikke-parametrisk metoder i senere forelesningene).
STAT111 Statistikk Metoder
[email protected]
c. Når I = 2, ANOVA F test og interpolert t-test (pooled t-test) er samme. Men vi
foretrekker t test (not pooled) når vi ikke kan sikker på varianser i begge gruppe er
samme.
I
tillegg,
t
test
har
flere
alternative
hypoteser,
H : 1  2 , H : 1  2 , H : 1  2 `, mens ANOVA F test har bare en alternativ
hypotese: H : 1  2
*Anbefalt hjemlesning: pp. 574  for the F test