TMA4240 Statistikk

STATISTIKK :D
INNHOLD
Et par ting som kan bli nyttige .................................................... 2
To utvalg: estimat av πœŽπ‘‹2/πœŽπ‘Œ2 ..................................... 13
2. Sannsynlighetsregning ............................................................ 2
Sannsynlighetsmaksimeringsestimatorer ............................ 13
3. Stokastiske variable og sannsynlighetsfordelinger. ................. 2
Likelihoodfunksjonen ..................................................... 13
4. Forventning og varians ............................................................ 3
5. Diskrete fordelinger ................................................................ 4
Diskret uniform fordeling ...................................................... 4
Invariansegenskapen til
sannsynlighetsmaksimeringsestimatoren ...................... 14
Binomisk fordeling ................................................................ 4
Forventning og varians til
sannsynlighetsmaksimeringsestimatoren ...................... 14
Multinomisk fordeling ........................................................... 4
10. Hypotesetesting .................................................................. 14
Hypergeometrisk fordeling ................................................... 4
Negativ binomisk fordeling ................................................... 5
Poissonfordeling ................................................................... 5
6. Kontinuerlige sannsynlighetsfordelinger................................. 5
Uniform kontinuerlig fordeling ............................................. 5
Normalfordeling .................................................................... 5
Gammafordelingen ............................................................... 6
Lognormalfordelingen........................................................... 7
Ensidig og tosidig test.......................................................... 15
Noen vanlige tester av forventninger .................................. 15
Forventning til gjennomsnitt ved kjent varians .............. 15
Forventning til gjennomsnitt ved ukjent varians ............ 16
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med kjente varianser ......................... 16
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med ukjente, men like, varianser ...... 16
Weibullfordeling ................................................................... 7
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med ukjente og ulike varianser ......... 16
7. Funksjoner av stokastiske variable .......................................... 7
Parret T-test ........................................................................ 17
Transformasjon av variable ................................................... 7
Parrede observasjoner ................................................... 17
Momentgenererende funksjon ............................................. 8
Parret t-test .................................................................... 17
Lineærkombinasjoner av normalfordelte variable ................ 8
Når bør man bruke en parret t-test? .............................. 17
Summer av uavhengige normalfordelte variable ............. 8
Teststyrke ............................................................................ 17
Summer av uavhengige kjikvadratfordelte variable ......... 8
Test for p med binomiske data ............................................ 18
Kvadratsummer av uavhengige variable ............................... 8
Ettutvalgs test for p med binomiske data....................... 18
Ordningsvariable ................................................................... 8
Toutvalgs test for forskjell i p med binomiske data ........ 18
8 + 9. Estimering ......................................................................... 8
Test for varians.................................................................... 18
Noen viktige estimatorer ...................................................... 9
11. Enkel lineær regresjon ........................................................ 19
Sentralgrenseteoremet ......................................................... 9
Regresjonsmodellen ............................................................ 19
t-fordelingen ......................................................................... 9
Metoder for å finne estimatorene ...................................... 19
Intervallestimering .............................................................. 10
Minste kvadraters metode ............................................. 19
Konfidensintervall .......................................................... 10
Sannsynlighetsmaksimeringsestimatormetoden ........... 20
Prediksjonsintervall ........................................................ 10
Egenskapene til estimatorene ............................................. 21
Toutvalgs estimering: estimering av forskjellen mellom to
middelverdier ................................................................. 11
Konfidensintervall og hypotesetester for 𝛼, 𝛽 og 𝜎2 .......... 21
Estimat av p i binomialfordelingen...................................... 12
Ett utvalg: estimat av 𝑝 .................................................. 12
To utvalg: estimat av 𝑝𝑋 βˆ’ π‘π‘Œ ....................................... 12
Ett utvalg: estimat av 𝜎 .................................................. 13
Prediksjon med regresjonsmodellen ................................... 21
Prediksjon av én verdi .................................................... 21
Prediksjon av gjennomsnittsrespons .............................. 22
Korrelasjon .......................................................................... 22
ET PAR TING SOM KAN BLI NYTTIGE
𝑛
𝑒 π‘Žπ‘₯ (π‘Žπ‘₯ βˆ’ 1)
∫ π‘₯𝑒 𝑑π‘₯ =
π‘Ž2
𝑛
βˆ‘ π‘₯𝑖 (π‘₯𝑖 βˆ’ π‘₯Μ… ) = βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )2
π‘Žπ‘₯
𝑖=1
∫ π‘₯ 2 𝑒 π‘Žπ‘₯ 𝑑π‘₯
𝑒 π‘Žπ‘₯ (π‘Ž2 π‘₯ 2 βˆ’ 2π‘Žπ‘₯ + 2)
=
π‘Ž3
𝑖=1
βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )𝑦𝑖
𝑏= 𝑛
βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑛
βˆ‘π‘–=1(𝑦𝑖 βˆ’ 𝑦̅)π‘₯𝑖
= 𝑛
βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )π‘₯𝑖
1
βˆ‘π‘›π‘–=1 𝑦𝑖 π‘₯𝑖 βˆ’ (βˆ‘π‘›π‘–=1 𝑦𝑖 )(βˆ‘π‘›π‘–=1 π‘₯𝑖 )
𝑛
=
1
βˆ‘π‘›π‘–=1 π‘₯𝑖2 βˆ’ (βˆ‘π‘›π‘–=1 π‘₯𝑖 )2
𝑛
𝑑
𝑓 β€² (π‘₯)
ln(𝑓(π‘₯)) =
𝑑π‘₯
𝑓(π‘₯)
𝑧0.025 = 1.96
𝑛
𝑍=
βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… ) = 0
𝑇=
𝑖=1
𝑇=
𝑉=
𝑍
βˆšπ‘‰/𝑛
𝑋̅ βˆ’ πœ‡
𝑠/βˆšπ‘›
(𝑛 βˆ’ 1)𝑆 2
𝜎2
𝑋̅ βˆ’ πœ‡
𝜎/βˆšπ‘›
2. SANNSYNLIGHETSREGNING
Utfallsrommet S er mengden av alle mulige utfall for et eksperiment. En hendelse H er en delmengde av S.
Komplementet til H er mengden av alle elementer i S som ikke er i H. Snittet av to hendelser A og B er
mengden av alle elementer i A som også er i B. To hendelser er disjunkte hvis snittet av dem er den tomme
mengden. Unionen av to hendelser er de medlemmene av S som er medlemmer av enten A, B, eller begge.
nPr er som nCr, men innbyrdes rekkefølge i utvalget har noe å si. Så nPr = r!nCr. Permutasjoner er ordnede
utvalg, kombinasjoner er uordnede utvalg.
Du kan arrangere n objekter i linje på 𝑛! måter, og i sirkel på (𝑛 βˆ’ 1)! måter.
En partisjon av et utfallsrom er en mengde 𝐴1 , 𝐴2 , … , 𝐴𝑛 slik at 𝐴1 βˆͺ 𝐴2 βˆͺ … βˆͺ 𝐴𝑛 = 𝑆
For å finne sannsynligheten for unionen av flere hendelser: trekk fra likeordens snitt og legg til odde ordens
snitt. Så for tre hendelser er 𝑃(𝐴 βˆͺ 𝐡 βˆͺ 𝐢) = 𝑃(𝐴) + 𝑃(𝐡) + 𝑃(𝐢) βˆ’ 𝑃(𝐴 ∩ 𝐡) βˆ’ 𝑃(𝐴 ∩ 𝐢) βˆ’ 𝑃(𝐡 ∩ 𝐢) +
𝑃(𝐴 ∩ 𝐡 ∩ 𝐢).
To hendelser A og B er uavhengige hvis og bare hvis 𝑃(𝐴|𝐡) = 𝑃(𝐴) og 𝑃(𝐡|𝐴) = 𝑃(𝐡), altså hvis A ikke gir
noe ny informasjon om B og vice versa.
Vi har regelen om at 𝑃(𝐴 ∩ 𝐡) = 𝑃(𝐴|𝐡)𝑃(𝐡). Så vi kan også si at A og B er uavhengige hvis og bare hvis
𝑃(𝐴 ∩ 𝐡) = 𝑃(𝐴)𝑃(𝐡). Mer generelt har vi at
𝑃(𝐴1 ∩ … ∩ π΄π‘˜ ) = 𝑃(𝐴1 )𝑃(𝐴2 |𝐴1 ) … 𝑃(π΄π‘˜ |𝐴1 ∩ … ∩ π΄π‘˜βˆ’1 )
Bayes teorem er 𝑃(𝐡|𝐴) =
Oddsen for en hendelse er
𝑃(𝐴|𝐡 )𝑃(𝐡)
𝑃(𝐴)
𝑃(𝐴)
𝑃(𝐴′ )
=
𝑃(𝐴|𝐡𝑖 )𝑃(𝐡𝑖 )
= βˆ‘π‘˜
𝑖=1 𝑃(
, den siste brukes når B-ene er en partisjon av S.
𝐴|𝐡𝑖 )𝑃(𝐡𝑖 )
𝑃(𝐴)
1βˆ’π‘ƒ(𝐴)
3. STOKASTISKE VARIABLE OG SANNSYNLIGHETSFORDELINGER.
En stokastisk variabel er en funksjon 𝑋 = 𝑋(𝑠) som knytter reelle tall til hvert enkelttilfelle 𝑠 i 𝑆. 𝑋 er diskret
hvis utfallsrommet har et endelig antall elementer eller like mange elementer som det finnes heltall, og
kontinuerlig hvis utfallsrommet har like mange elementer som det finnes reelle tall.
𝑏
Sannsynligheten 𝑃(π‘Ž ≀ 𝑋 ≀ 𝐡) for at 𝑋 ligger i intervallet (π‘Ž, 𝑏) er βˆ«π‘Ž 𝑓(π‘₯)𝑑π‘₯ = 𝐹(𝑏) βˆ’ 𝐹(π‘Ž) i det
kontinuerlige tilfellet. Sannsynlighetsfunksjonen 𝑓(π‘₯) er altså den deriverte av den kumulative
sannsynlighetsfunksjonen 𝐹(π‘₯). I det diskrete tilfellet er sannsynligheten 𝑃(𝑋 = π‘₯) for at 𝑋 har verdien π‘₯ lik
𝑓(π‘₯). For å være en sannsynlighetsfordeling må 𝑓(π‘₯) alltid være større enn 0 og summere opp til 1 (enten ved
å summere over hele definisjonsmengden eller integrere over hele tallinja).
Den simultanfordelte sannsynlighetsfordelingen skrives 𝑓(π‘₯, 𝑦) = 𝑃(𝑋 = π‘₯, π‘Œ = π‘Œ) i det diskrete tilfellet. I det
kontinuerlige tilfellet får man sannsynligheten for at 𝑋, π‘Œ ligger innenfor et område i 𝑅2 ved å integrere
funskjonen over området. Marginalfordelingen til kun 𝑋 er 𝑓𝑋 (π‘₯) er det vi får ved å summere funksjonen over
∞
alle mulige 𝑦 slik at 𝑓𝑋 (π‘₯) = βˆ‘π·π‘Œ 𝑓(π‘₯, 𝑦) = βˆ«βˆ’βˆž 𝑓(π‘₯, 𝑦)𝑑𝑦 i henholdsvis det diskrete og kontinuerlige tilfellet,
og vice versa for marginalfordelingen til kun π‘Œ. Videre har vi at π‘“π‘‹π‘Œ (π‘₯, 𝑦) = π‘“π‘Œ (𝑦|π‘₯)𝑓𝑋 (π‘₯). Hvis og bare hvis π‘Œ
og 𝑋 er uavhengige har vi dermed at π‘“π‘‹π‘Œ (π‘₯, 𝑦) = π‘“π‘Œ (𝑦)𝑓𝑋 (π‘₯). Dette kan utvides på naturlig vis til simultane
sannsynlighetsfordelinger og marginalfordelinger til et vilkårlig antall stokastiske variable.
4. FORVENTNING OG VARIANS
∞
Forventningsverdien til en variabel er πœ‡ = 𝐸(𝑋) = βˆ‘π· π‘₯𝑓(π‘₯) = βˆ«βˆ’βˆž π‘₯𝑓(π‘₯)𝑑π‘₯ i henholdsvis det diskrete og det
kontinuerlige tilfellet. 𝐷 er definisjonsmengden til 𝑋.
∞
Forventningsverdien til en variabel 𝑔(𝑋) er πœ‡π‘” (𝑋) = 𝐸[𝑔(𝑋)] = βˆ‘π· 𝑔(π‘₯)𝑓(π‘₯) = βˆ«βˆ’βˆž 𝑔(π‘₯)𝑓(π‘₯)𝑑π‘₯
Forventningsverdien til en variabel 𝑔(𝑋, π‘Œ) er πœ‡π‘” (𝑋, π‘Œ) = 𝐸[𝑔(𝑋, π‘Œ)] = βˆ‘π·π‘‹ βˆ‘π·π‘Œ 𝑔(π‘₯, 𝑦)𝑓(π‘₯, 𝑦) =
∞
∞
βˆ«βˆ’βˆž βˆ«βˆ’βˆž 𝑔(π‘₯, 𝑦)𝑓(π‘₯, 𝑦)𝑑𝑦 𝑑π‘₯
Hvis to variable er uavhengige er 𝐸(π‘‹π‘Œ) = 𝐸(𝑋)𝐸(π‘Œ).
Forventningsverdien til en lineærkombinasjon er den tilsvarende lineærkombinasjonen av forventningsverdier.
Variansen til en variabel er
∞
π‘‰π‘Žπ‘Ÿ(𝑋) = 𝜎 2 = 𝐸[(𝑋 βˆ’ πœ‡)2 ] = βˆ‘(π‘₯ βˆ’ πœ‡)2 𝑓(π‘₯) = ∫ (π‘₯ βˆ’ πœ‡)2 𝑓(π‘₯)𝑑π‘₯ = 𝐸(𝑋 2 ) βˆ’ 𝐸(𝑋)2
βˆ’βˆž
𝐷
Det blir helt tilsvarende når man skal finne variansen til en funksjon av en variabel.
2
Variansen til π‘Žπ‘‹ + 𝑏 er πœŽπ‘Žπ‘‹+𝑏
= π‘Ž2 πœŽπ‘‹2 = π‘Ž2 𝜎 2.
Kovariansen til to variabler X og Y er
πΆπ‘œπ‘£(𝑋, π‘Œ) = πœŽπ‘‹π‘Œ = 𝐸[(𝑋 βˆ’ πœ‡π‘‹ )(π‘Œ βˆ’ πœ‡π‘Œ )]
∞
= βˆ‘ βˆ‘(π‘₯ βˆ’ πœ‡π‘‹ )(𝑦 βˆ’ πœ‡π‘¦ )𝑓(π‘₯, 𝑦) = ∫ (π‘₯ βˆ’ πœ‡π‘‹ )(𝑦 βˆ’ πœ‡π‘¦ )𝑓(π‘₯, 𝑦) 𝑑π‘₯
βˆ’βˆž
𝐷𝑋 π·π‘Œ
= 𝐸(π‘‹π‘Œ) βˆ’ 𝐸(𝑋)𝐸(π‘Œ)
Og er et mål på assosiasjonen mellom de to.
Hvis to variable ikke er korrelerte, vil kovariansen deres være 0. Men to variable kan fint være korrellerte selv
om kovariansen er 0.
Variansen til en variabel er π‘‰π‘Žπ‘Ÿ(𝑋) = πΆπ‘œπ‘£(𝑋, 𝑋).
2
Variansen til en sum av to variable er πœŽπ‘Žπ‘‹+π‘π‘Œ
= π‘Ž2 πœŽπ‘‹2 + 𝑏 2 πœŽπ‘Œ2 + 2π‘Žπ‘πœŽπ‘‹π‘Œ . Hvis de to er uavhengige, blir
variansen til summen summen av variansene.
Standardavviket til en variabel er kvadratroten av variansen.
5. DISKRETE FORDELINGER
DISKRET UNIFORM FORDELING
Bruk: Når det er like stor sannsynlighet for hvert utfall i utfallsrommet.
1
Fordelingsfunksjon: 𝑓(π‘₯) = der k er antall mulige utfall.
π‘˜
1
Forventning: πœ‡ = βˆ‘π‘˜π‘–=1 π‘₯𝑖 , men denne forekommer ikke noe oftere enn noen av de andre verdiene.
Varians: 𝜎 2 =
π‘˜
1 π‘˜
βˆ‘π‘–=1(π‘₯𝑖
π‘˜
2
βˆ’ πœ‡)
BINOMISK FORDELING
Bruk: Når vi har en Bernoulli-prosess med n forsøk. Kjennetegnes av 3 krav:
-
Vi gjør 𝑛 uavhengige forsøk
I hvert forsøk registrerer vi om hendelsen A inntreffer eller ikke
Sannsynligheten for A er den samme i alle forsøkene, og 𝑃(𝐴) = 𝑝.
𝑛
Fordelingsfunksjon: 𝑓(π‘₯) = ( ) 𝑝 π‘₯ (1 βˆ’ 𝑝)π‘›βˆ’π‘₯ = alle rekkefølgene dette kan inntreffe i ganger sannsynligheten
π‘₯
for at det inntreffer x ganger ganger sannsynligheten for at det ikke inntreffer n-x ganger.
Kumulativ fordeling: Side 12 til 17 i heftet.
Forventning: 𝐸(𝑋) = 𝑛𝑝
Varians: π‘‰π‘Žπ‘Ÿ(𝑋) = 𝑛𝑝(1 βˆ’ 𝑝)
Disse utledes fra at hvert forsøk representeres av en Bernoullifordelt variabel (som har verdi 0 med
sannsynlighet (1-p) og verdi 1 med sannsynlighet p), slik at den binomisk fordelte variabelen blir en sum av
Bernoullifordelte variable.
MULTINOMISK FORDELIN G
Bruk: Når vi bytter ut andre krav i binomisk fordeling med at vi har k mulige utfall, hver med sannsynlighet
𝑝1 , … , π‘π‘˜ .
Fordelingsfunksjon: 𝑓(π‘₯1 , … , π‘₯π‘˜ ; 𝑝1 , … , π‘π‘˜ ; 𝑛) =
𝑛!
π‘₯
𝑝 1
π‘₯1 !…π‘₯π‘˜ ! 1
π‘₯
… π‘π‘˜ π‘˜
Forventning: 𝐸(𝑋𝑖 ) = 𝑛𝑝𝑖
Varians: π‘‰π‘Žπ‘Ÿ(𝑋𝑖 ) = 𝑛𝑝𝑖 (1 βˆ’ 𝑝𝑖 )s
Sammenheng med andre fordelinger: Når k=2 er 𝑋1 binomisk fordelt.
HYPERGEOMETRISK FORD ELING
Bruk: Vi trekker n lodd fra en urne med N lodd, hvorav k er vinnerlodd. Antall vinnerlodd er hypergeometrisk
fordelt.
Fordelingsfunksjon: 𝑓(π‘₯) =
π‘˜ π‘βˆ’π‘˜
( )(
)
π‘₯ π‘›βˆ’π‘₯
,
𝑁
( )
𝑛
der x går fra 0 til den minste av n og k.
Kumulativ fordeling: Side 21-22 i heftet.
Forventning: 𝐸(𝑋) =
π‘›π‘˜
𝑁
π‘˜
Varians: π‘‰π‘Žπ‘Ÿ(𝑋) =
(π‘βˆ’π‘›)π‘›π‘˜(1βˆ’ )
𝑁
(π‘βˆ’1)𝑁
Sammenheng med andre fordelinger: Binomisk fordeling er når vi trekker lodd med tilbakelegging,
hypergeometrisk er når vi trekker lodd uten tilbakelegging. Når 𝑁 ≫ 𝑛 kan vi approksimere en
π‘˜
hypergeometrisk fordeling med en binomisk fordeling der 𝑝 = , fordi 𝑁 β‰ˆ 𝑁 βˆ’ 𝑛.
𝑁
NEGATIV BINOMISK FORDELING
Bruk: Vi har en Bernoulliprosess, men nå spør vi om sannsynligheten for at hendelse A inntreffer for k’te gang
på vårt x’te forsøk.
π‘₯βˆ’1 π‘˜
Fordelingsfunksjon: 𝑓(π‘₯) = (
) 𝑝 (1 βˆ’ 𝑝) π‘₯βˆ’π‘˜ , der x går fra k og oppover.
π‘˜βˆ’1
Kumulativ fordeling: Står ikke i heftet.
En negativ binomisk fordeling med k = 1 kalles en geometrisk fordeling.
POISSONFORDELING
Bruk: Vi har en Poissonprosess med følgende karakteristikk:
-
Prosessen har intet minne: antall hendelser i et interall er uavhengig av antallet hendelser som
forekommer i ethvert annet disjunkt intervall.
Sannsynligheten for at et enkelt utfall forekommer i løpet av et veldig kort intervall er proporsjonalt
med lengden av intervallet og avhenger ikke av antallet utfall utenfor dette intervallet.
Sannsynligheten for at mer enn ett utfall forekommer i løpet av et slikt kort intervall er neglisjerbar.
Da er antallet hendelser i løpet av et eksperiment en Poissonvariabel og er Poissonfordelt.
Fordelingsfunksjon: 𝑓(π‘₯) =
𝑒 βˆ’πœ†π‘‘ (πœ†π‘‘)π‘₯
π‘₯!
=
𝑒 βˆ’πœ‡ πœ‡ π‘₯
π‘₯!
fordi 𝐸(𝑋) = π‘‰π‘Žπ‘Ÿ(𝑋) = πœ†π‘‘
Sammenheng med andre fordelinger: Vi kan tilnærme binomialfordelingen til en Poissonfordeling når n blir
stor, da er πœ‡ = 𝑛𝑝.
6. KONTINUERLIGE SANNSYNLIGHETSFORDELINGER
UNIFORM KONTINUERLIG FORDELING
1
𝑓(π‘₯) = {π΅βˆ’π΄
𝑛åπ‘Ÿ 𝐴 ≀ π‘₯ ≀ 𝐡
0 π‘’π‘™π‘™π‘’π‘Ÿπ‘ 
,πœ‡ =
𝐴+𝐡
2
og 𝜎 2 =
(π΅βˆ’π΄)2
12
. Vi bruker ikke denne så mye.
NORMALFORDELING
Dette er den viktigste sannsynlighetsfordelingen som finnes og brukes til nesten alt på grunn av
sentralgrenseteoremet.
Fordelingsfunksjon
𝑓(π‘₯) =
1
√2πœ‹πœŽ
exp (βˆ’
1 (π‘₯ βˆ’ πœ‡)2
) , βˆ’βˆž < π‘₯ < ∞
2 𝜎2
Egenskaper
-
Kurven er symmetrisk om π‘₯ = πœ‡
Fordelingen har sitt typetall ved forventningsverdien
Kurvens vendepunkter er ved π‘₯ = πœ‡ ± 𝜎
Normalfordelte variable kan transformeres til den standard normalfordelte variablen 𝑍 med πœ‡ = 0, 𝜎 2 = 1 ved
å la 𝑍 =
π‘‹βˆ’πœ‡
𝜎
⇔ 𝑋 = πœŽπ‘ + πœ‡. Verdiene til 𝑍 står på s. 1 og 2, og kvantilene står på s. 3.
Vi skriver 𝑃(𝑍 ≀ 𝑧) som Ξ¦(𝑧). Phi-funksjonen har egenskapen Ξ¦(βˆ’π‘₯) = 1 βˆ’ Ξ¦(π‘₯).
En lineærkombinasjon normalfordelte variable er en ny normalfordelt variabel. Dette er et resultat brukes
ekstremt ofte.
Approksimasjon av binomialfunksjonen
Når 𝑋 er en binomisk fordelt variabel med πœ‡ = 𝑛𝑝 og 𝜎 = 𝑛𝑝(1 βˆ’ 𝑝), vil 𝑛 β†’ ∞ gjøre at fordelingen av
𝑋 βˆ’ 𝑛𝑝
𝑍=
βˆšπ‘›π‘(1 βˆ’ 𝑝)
går mot standardnormalfordelingen. Dette fungerer veldig bra når n er stor og p ikke er veldig nærme 1 eller 0,
men også ganske bra når n er liten og p ligger rundt ½.
GAMMAFORDELINGEN
Gammafunksjonen er definert som
∞
Ξ“(𝛼) = ∫ π‘₯ π›Όβˆ’1 𝑒 βˆ’π‘₯ 𝑑π‘₯ , 𝛼 > 0
0
1
For heltallige n er Ξ“(𝑛) = (𝑛 βˆ’ 1)! Forøvrig er Ξ“ ( ) = βˆšπœ‹.
2
Gammafordelingen er gitt ved
𝑓(π‘₯) =
π‘₯
1
π›Όβˆ’1 βˆ’π›½
π‘₯
𝑒
𝛽 π‘Ž Ξ“(π‘Ž)
og har 𝐸(𝑋) = 𝛼𝛽 og π‘‰π‘Žπ‘Ÿ(𝑋) = 𝛼𝛽 2 .
Når 𝛼 = 1 får vi eksponensialfordelingen:
𝑓(π‘₯) =
1 βˆ’π‘₯
𝑒 𝛽 = πœ†π‘’ βˆ’πœ†π‘₯
𝛽
1
der πœ† = . Denne har 𝐸(𝑋) = 𝛽 og π‘‰π‘Žπ‘Ÿ(𝑋) = 𝛽 2 .
𝛽
Eksponensialfordelingen her beslektet med Poissonfordelingen på omtrent samme måte som den geometriske
fodelingen er beslektet med den binomiske fordelingen. For en Poissonfordelt variabel har vi at 𝑓(0; πœ†π‘₯) =
𝑒 βˆ’πœ†π‘₯ . La 𝑋 være tiden det tar før den første Poissonhendelsen. Sannsynligheten for at X er større enn x er den
samme som sannsynligheten for at ingen Poissonhendelser skjer innen x, så 𝑃(𝑋 > π‘₯) = 𝑒 βˆ’πœ†π‘₯ . Da er den
kumulative fordelingsfunksjonen for 𝑋 gitt ved 𝑃(0 ≀ 𝑋 ≀ π‘₯) = 1 βˆ’ 𝑒 βˆ’πœ†π‘₯ . Vi deriverer med hensyn på x og får
at fordelingsfunksjonen til x er eksponensialfunksjonen, 𝑓(π‘₯) = πœ†π‘’ βˆ’πœ†π‘₯ . Her er også 𝛽 den gjennomsnittlige
tiden mellom hendelser.
Når 𝛼 er et annet heltall beskriver gammafunksjonen forventet tid før 𝛼’te hendelse i en Poissonprosess, så på
denne måten er gammafordelingen beslektet med Poissonfordelingen på omtrent samme måte som den
negative binomiske fordelingen er beslektet med den binomiske fordelingen.
Når 𝛼 = Ξ½/2 og 𝛽 = 2 får vi kjikvadratfordelingen:
𝑓(π‘₯) =
1
π‘₯ 𝜈/2βˆ’1 𝑒 βˆ’π‘₯/2
2𝜈/2 Ξ“(𝜈/2)
Denne har 𝐸(𝑋) = 𝜈 og π‘‰π‘Žπ‘Ÿ(𝑋) = 2𝜈. 𝜈 er antall frihetsgrader.
LOGNORMALFORDELINGEN
En variabel er lognormaltfordelt hvis variabelen π‘Œ = ln(π‘₯) er normalfordelt. Dette gir fordelingen
𝑓(π‘₯) =
1
√2πœ‹πœŽπ‘₯
exp (βˆ’
1
[ln(π‘₯) βˆ’ πœ‡]2 )
2𝜎 2
for x > 0.
1 2
2
2
Fordelingen har 𝐸(𝑋) = eπœ‡+2𝜎 og π‘‰π‘Žπ‘Ÿ(𝑋) = e2ΞΌ+Οƒ (𝑒 𝜎 βˆ’ 1)
WEIBULLFORDELING
Weibullfordelingen brukes gjerne for levetiden til komponenter når man tar hensyn til slitasje og eventuelt
herding (i motsetning til den «hukommelsesløse» eksponensialfordelingen). Fordelingen for π‘₯, 𝛼, 𝛽 > 0, er
𝑓(π‘₯; 𝛼, 𝛽) = 𝛼𝛽π‘₯ π›½βˆ’1 𝑒 𝛼π‘₯
𝐹(π‘₯; 𝛼, 𝛽) = 1 βˆ’ 𝑒 βˆ’π›Όπ‘₯
𝛽
𝛽
Når 𝛽 = 1 får vi eksponensialfordelingen.
For komponenter med Weibullfordelt levetid kan man utlede en sviktrate. Hvis 𝑅𝑇 (𝑑) = 𝑃(𝑇 > 𝑑) er
∞
sannsynligheten for at en komponent ikke svikter i løpet av tiden 𝑑, er 𝑅𝑇 (𝑑) = βˆ«π‘‘ 𝑓(𝑑)𝑑𝑑 = 1 βˆ’ 𝐹(𝑑).
Sannsynligheten for at en komponent svikter i intervallet (𝑑, 𝑑 + Δ𝑑) gitt at den overlevde til 𝑑 er
𝐹(𝑑+Δ𝑑)βˆ’πΉ(𝑑)
𝑅𝑇 (𝑑)
.
Hvis vi deler på endringen i tid og lar den gå mot 0, får vi sviktraten
𝐹(𝑑 + Δ𝑑) βˆ’ 𝐹(𝑑)
𝑓(𝑑)
𝑓(𝑑)
=
=
= 𝛼𝛽𝑑 π›½βˆ’1
Δ𝑑→0
Δ𝑑𝑅𝑇 (𝑑)
𝑅𝑇 (𝑑) 1 βˆ’ 𝐹(𝑑)
𝑍(𝑑) = lim
Hvis 𝛽 = 1 får vi eksponensialfordelingen med en konstant sviktrate. Hvis 𝛽 > 1 er 𝑍(𝑑) en økende funksjon
som indikerer på at komponenten slites over tid, og hvis 𝛽 < 1 er 𝑍(𝑑) en minkende funksjon som indikerer at
komponenten herdes over tid.
Fordelingen har 𝐸(𝑋) = 𝛼
1
𝛽
βˆ’
1
Ξ“ (1 + ) og π‘‰π‘Žπ‘Ÿ(𝑋) = 𝛼
𝛽
2
𝛽
βˆ’
2
2
1
𝛽
𝛽
(Ξ“ (1 + ) βˆ’ (Ξ“ (1 + )) ).
7. FUNKSJONER AV STOKASTISKE VARIABLE
TRANSFORMASJON AV VA RIABLE
La π‘Œ = 𝑒(𝑋) være en en-til-en-transformasjon av en diskret X, og 𝑋 = 𝑀(π‘Œ) = π‘’βˆ’1 (π‘Œ) = π‘’βˆ’1 𝑒(𝑋).
Sannsynlighetstettheten til Y blir da 𝑔(𝑦) = 𝑓(𝑀(𝑦)). Når X er kontinuerlig blir 𝑔(𝑦) = 𝑓(𝑀(𝑦))𝑀′(𝑦), eller
𝑔(𝑦) = 𝑓(𝑀(𝑦))|𝐽|, der 𝐽 er Jacobideterminanten, når vi har funksjoner av flere variable.
Det finnes også en annen metode for å regne seg frem til 𝑔(𝑦): løs 𝑒(𝑋) < π‘Œ, finn 𝐺(π‘Œ) = 𝑃(π‘Œ ≀ 𝑦) ved å
integrere over de x som løser ulikheten og la 𝑔(𝑦) = 𝐺 β€² (π‘Œ). På grunn av produktregelen for derivasjon ender vi
opp med det samme uttrykket som før.
Når 𝑒(𝑋) ikke er en-til-en lager man seg et sett en-til-en-funksjoner og summerer opp løsningene. For
eksempel, når 𝑒(𝑋) = 𝑋 2 summerer vi opp løsningene for 𝑋 = βˆšπ‘Œ og 𝑋 = βˆ’βˆšπ‘Œ.
MOMENTGENERERENDE FUNKSJON
∞
Den momentgenererende funksjonen til X er 𝐸(𝑒 𝑑𝑋 ) = βˆ‘π‘₯ 𝑒 𝑑π‘₯ 𝑓(π‘₯) = βˆ«βˆ’βˆž 𝑒 𝑑π‘₯ 𝑓(π‘₯)𝑑π‘₯ .
(π‘˜)
Vi har at 𝐸[𝑋 π‘˜ ] = 𝑀𝑋 (0), altså at forventningsverdien til 𝑋 π‘˜ er den k’te deriverte av den
(π‘˜)
momentgenererende funksjonen til 𝑋 evaluert i x = 0. 𝑀𝑋 (0) kalles 𝑋 sitt k’te moment. Det første momentet
er forventningsverdien og det andre momentet opptrer i uttrykket for varians, π‘‰π‘Žπ‘Ÿ(𝑋) = 𝑀𝑋′ (0) βˆ’ 𝑀𝑋 (0)2 .
Det tredje momentet er et mål på hvor skjev fordelingen er og det fjerde momentet er et mål på hvor tykk eller
tynn fordelingen er – det er ikke pensum, men det er jo artig da
Den momentgenererende funksjonen er unik, det vil si at 𝑀𝑋 (𝑑) = π‘€π‘Œ (𝑑) ⇔ 𝑓𝑋 (π‘₯) = π‘“π‘Œ (𝑦), så vi kan bruke
den momentgenererende funksjonen til å finne fordelingen til stokastiske variable. Hvis vi finner den
momentgenererende funksjonen til en stokastisk variabel, og finner at den er den samme som den
momentgenererende funksjonen til en stokastisk variabel med kjent fordeling, har de to variablene den samme
fordelingen. Veldig mange teoremer i pensum utledes med momentgenererende funksjoner.
Videre har vi at
-
𝑀𝑋+π‘Ž (𝑑) = 𝑒 π‘Žπ‘‘ 𝑀𝑋 (𝑑)
π‘€π‘Žπ‘‹ (𝑑) = 𝑀𝑋 (π‘Žπ‘‘)
𝑀𝑋1+β‹―+𝑋𝑛 (𝑑) = 𝑀𝑋1 (𝑑) … 𝑀𝑋𝑛 (𝑑)
-
når π‘₯ < 0 β‡’ 𝑓(π‘₯) = 0 er 𝑀𝑋 (βˆ’π‘‘) Laplacetransformen til 𝑓(π‘₯).
LINEÆRKOMBINASJONER AV N ORMALFORDELTE VARIABLE
SUMMER AV UAVHENGIGE NORMALFORDELTE VARIAB LE
Når 𝑋1 , … , 𝑋𝑛 er uavhengige normalfordelte variable med forventningsverdier πœ‡1 , … , πœ‡π‘› og varianser 𝜎12 , … , πœŽπ‘›2
vil π‘Œ = βˆ‘π‘›π‘˜=1 π‘Žπ‘˜ π‘‹π‘˜ ha en normalfordeling med πœ‡π‘Œ = βˆ‘π‘›π‘˜=1 π‘Žπ‘˜ πœ‡π‘˜ og πœŽπ‘Œ2 = βˆ‘π‘›π‘˜=1 π‘Žπ‘˜2 πœŽπ‘˜2 , som kan vises med
momentgenererende funksjoner.
SUMMER AV UAVHENGIGE KJIKVADRATFORDELTE VARIABLE
Når 𝑋1 , … , 𝑋𝑛 er uavhengige kjikvadratfordelte variable med forventningsverdier 𝜈1 , … , πœˆπ‘› frihetsgrader vil π‘Œ =
βˆ‘π‘›π‘˜=1 π‘Žπ‘˜ π‘‹π‘˜ ha en kjikvadratfordeling med βˆ‘π‘›π‘˜=1 π‘£π‘˜ frihetsgrader.
KVADRATSUMMER AV UAVHENGIGE VARIABLE
Når 𝑋1 , … , 𝑋𝑛 er uavhengige normalfordelte variable med forventningsverdier πœ‡1 , … , πœ‡π‘› og varianser 𝜎12 , … , πœŽπ‘›2
vil π‘Œ = βˆ‘π‘›π‘˜=1 (
π‘‹π‘˜ βˆ’πœ‡π‘˜ 2
πœŽπ‘˜
) være kjikvadratfordelt med 𝜈 = 𝑛 frihetsgrader. Hvis de har samme forventningsverdi πœ‡
og samme varians 𝜎 2 , forenkles dette til at π‘Œ = βˆ‘π‘›π‘˜=1 (
π‘‹π‘˜ βˆ’πœ‡ 2
𝜎
) er kjikvadratfordelt med 𝜈 = 𝑛 frihetsgrader.
ORDNINGSVARIABLE
Se eget notat om ordningsvariable her.
8 + 9. ESTIMERING
En populasjon inneholder alle observasjoner det er mulig å gjøre om en mengde. Et utvalg er en delmengde av
disse observasjonene. Hvis 𝑋1 , … , 𝑋𝑛 er 𝑛 uavhengige stokastiske variable som alle har den samme
fordelingsfunksjonen 𝑓(π‘₯) kan vi definere 𝑋1 , … , 𝑋𝑛 som et tilfeldig utvalg med størrelse 𝑛 fra populasjonen
𝑓(π‘₯), og den simultane sannsynlighetsfordelingen til det tilfeldige utvalget er 𝑓(𝒙) = 𝑓(π‘₯1 , … , π‘₯𝑛 ) =
𝑓(π‘₯1 ) … 𝑓(π‘₯𝑛 ).
𝑓(π‘₯) vil også være bestemt av visse parametere som vi enten må kjenne på teoretisk grunnlag eller estimere
basert på utvalget. En observator, på engelsk a statistic, er en funksjon av det tilfeldige utvalget, og en
observator som gir et estimat for en bestemt parameter kalles en estimator. Verdiene til estimatorene våre blir
estimatene. En god estimator er forventningsrett og effektiv. En observator πœƒΜ‚ er en forventningsrett estimator
for πœƒ når 𝐸(πœƒΜ‚) = πœƒ. Den mest effektive estimatoren for πœƒ er den som har minst varians.
NOEN VIKTIGE ESTIMAT ORER
2
1
𝜎
Det empiriske snittet 𝑋̅ = βˆ‘π‘›π‘˜=1 π‘₯𝑖 er en forventningsrett estimator for πœ‡. Den har varians . Den empiriske
𝑛
variansen 𝑆 2 =
1
π‘›βˆ’1
𝑛
βˆ‘π‘›π‘˜=1(𝑋𝑖 βˆ’ 𝑋̅)2 er en forventningsrett estimator for 𝜎. Den empiriske variansen har et
annet uttrykk som kan være nyttig, nemlig 𝑆 2 =
1
𝑛(π‘›βˆ’1)
[𝑛 βˆ‘π‘›π‘˜=1 𝑋𝑖2 βˆ’ (βˆ‘π‘›π‘˜=1 𝑋𝑖 )2 ], som vi finner ved å gange ut
kvadratuttrykket. Det empiriske standardavviket 𝑆 er kvadratroten av den empiriske variansen.
𝑋̅ og 𝑆 2 er uavhengige (det kan vises at πΆπ‘œπ‘£(𝑋̅, 𝑆 2 ) = 0).
Observatoren 𝑍 =
𝑋̅ βˆ’πœ‡
er standard normalfordelt. Hvis hver 𝑋𝑖 ikke er normalfordelt, vil 𝑍 fortsatt være
𝜎/βˆšπ‘›
standardnormalfordelt dersom n er stor nok (typisk ca. 30) på grunn av sengralgrenseteoremet.
Observatoren 𝑉 =
π‘›βˆ’1
𝜎2
𝑆 2 er kjikvadratfordelt med 𝜈 = 𝑛 βˆ’ 1 frihetsgrader. Vi kan tenke oss at vi mister en
frihetsgrad ved å ha estimert πœ‡ med 𝑋̅ i estimatoren av 𝜎 2 .
SENTRALGRENSETEOREME T
Hvis 𝑋̅ er det empiriske snittet til et tilfeldig utvalg med størrelse 𝑛 tatt fra en populasjon med
forventningsverdi πœ‡ og varians 𝜎 2 vil lim
π‘‹Μ…βˆ’πœ‡
π‘›β†’βˆž 𝜎/βˆšπ‘›
være standard normalfordeling.
T-FORDELINGEN
Når 𝜎 er ukjent, og 𝑛 ikke er spesielt stor (typ lavere enn 30), må vi bruke t-fordelingen. For å utlede
fordelingen til 𝑇 =
π‘‹Μ…βˆ’πœ‡
𝑆/βˆšπ‘›
skriver vi
𝑇=
𝑋̅ βˆ’ πœ‡
𝜎\βˆšπ‘›
βˆšπ‘† 2/𝜎 2
=
𝑍
2
√(𝑛 βˆ’ 1)𝑆 /𝜎
π‘›βˆ’1
2
=
𝑍
√ 𝑉
π‘›βˆ’1
Fordelingsfunksjonen til en slik variabel er en t-fordeling med n-1 frihetsgrader og står som tabell på side 4.
Den eksakte fordelingsfunksjonen er
𝜈+1
Ξ½+1
2 βˆ’ 2
)
𝑑
2
(1 + )
𝜈
Ξ“(𝜈/2)βˆšπœ‹πœˆ
Ξ“(
Så når vi har uavhengige variabler 𝑋1 , … , 𝑋𝑛 som alle er normalfordelte med snitt πœ‡ og standardavvik 𝜎, og
1
lar 𝑋̅ = βˆ‘π‘›π‘–=1 𝑋𝑖 , 𝑆 2 =
𝑛
1
π‘›βˆ’1
βˆ‘2𝑖=1(𝑋𝑖 βˆ’ 𝑋̅)2 , vil 𝑇 =
π‘‹Μ…βˆ’πœ‡
𝑆/βˆšπ‘›
være t-fordelt med 𝜈 = 𝑛 βˆ’ 1 frihetsgrader. Når 𝑣 β†’
∞ går t-fordelingen mot en normalfordeling. Lavere 𝜈 vil gi en kurve med tykkere haler, altså større varians.
INTERVALLESTIMERING
KONFIDENSINTERVALL
Et (𝟏 βˆ’ 𝜢)-konfidensintervall er et intervall (πœƒΜ‚πΏ , πœƒΜ‚π‘ˆ ) der πœƒΜ‚πΏ , πœƒΜ‚π‘ˆ er funksjoner av 𝑋1 , … , 𝑋𝑛 slik at
𝑃(πœƒΜ‚πΏ < πœƒ < πœƒΜ‚π‘ˆ ) = 1 βˆ’ 𝛼. Den grafiske tolkningen av slike konfidensintervaller blir at arealet under grafen til
sannsynlighetsfordelingsfunksjonen i intervallet vårt er 1 βˆ’ 𝛼. 𝛼 kalles intervallets signifikansnivå.
Vi konstruerer disse funksjonene ved å begynne med en observator som knytter parameteren vi skal estimere
til en sannsynlighetsfordeling. Disse observatorene er typisk 𝑍, 𝑉 eller 𝑇, og vi kaller disse pivotale størrelser
fordi fordelingen deres ikke avhenger av ukjente parametre. Så sette vi opp en av disse dobbeltulikhetene med
fordelingens kvantiler, som står i tabellverket. Man begynner med å sette inn de kjente uttrykkene for hver
variabel, og så regne om til ulikheten sentreres om parameteren man lurer på.
For normalfordelingen gjelder
𝑃(βˆ’π‘§π›Ό/2 < 𝑍 < 𝑧𝛼/2 ) = 1 βˆ’ 𝛼
Kvantilene står på s. 3. Denne kan vi bruke når vi kjenner variansen og skal estimere πœ‡ med π‘₯Μ… , eller hvis vi skal
finne minste 𝑛 slik at sannsynligheten for at estimatfeilen med sannsynlighet 1 βˆ’ 𝛼 ikke overskrider en viss
feilstørrelse πœ–. Omregning gir oss at |πœ–| < 𝑧𝛼/2 𝜎/βˆšπ‘› med sannsynlighet 1 βˆ’ 𝛼 og at vi krever en 𝑛 β‰₯
(
𝑧𝛼/2 𝜎 2
πœ–
) for at feilen med sannsynnlighet 1 βˆ’ 𝛼 ikke overskrider πœ–. Vi runder opp til nærmeste heltall for å være
sikre.
Siden normalfordelingen er symmetrisk er det relativt enkelt å lage et ensidig konfidensinterall, som er
nyttigere når vi trenger et estimate for det verdien «i verste tilfelle» kan være:
𝑃(𝑍 < 𝑧𝛼 ) = 1 βˆ’ 𝛼
For t-fordelingen gjelder
𝑃(βˆ’π‘‘π›Ό/2,𝜈 < 𝑇 < 𝑑𝛼/2,𝜈 ) = 1 βˆ’ 𝛼
Kvantilene står på s. 4. Denne bruker vi når vi vil utlede konfidensintervaller der vi ikke kjenner 𝜎. Ensidig
intervall kan gjøres på akkurat samme måte som for normalfordelingen.
For πœ’ 2 -fordelingen gjelder
2
𝑃(πœ’1βˆ’π›Ό/2,𝜈
< 𝑉 < πœ’ 2𝛼/2,𝜈 ) = 1 βˆ’ 𝛼
Kvantilene står på s. 5. Denne brukes når vi skal estimere 𝜎. Legg merke til at kvantilene i kjikvadratfordelingen
er forskjellig fra kvantilene i t-fordelingen og normalfordelingen fordi den ikke er symmetrisk.
PREDIKSJONSINTERVALL
Når vi ønsker å forutse verdien til en ny fremtidig måling π‘₯0 av den stokastiske variabelen 𝑋, lager vi et
prediksjonsintervall som tar hensyn til både variansen i målingen π‘₯0 og variansen til forventningsverdien til π‘₯0 ,
siden denne forventningsverdien må estimeres med π‘₯Μ… . π‘₯0 vil falle innenfor intervallets grenser med
sannsynlighet 1 βˆ’ 𝛼. For å konstruere intervallet tar vi utgangspunkt i egenskapene til observatoren 𝑋 βˆ’ 𝑋̅ :
𝐸(𝑋 βˆ’ 𝑋̅) = 𝐸(𝑋) βˆ’ 𝐸(𝑋̅) = πœ‡ βˆ’ πœ‡ = 0
π‘‰π‘Žπ‘Ÿ(𝑋 βˆ’ 𝑋̅) = π‘‰π‘Žπ‘Ÿ(𝑋) + π‘‰π‘Žπ‘Ÿ(𝑋̅) = 𝜎 2 +
𝜎2
1
= 𝜎 2 (1 + )
𝑛
𝑛
Siden 𝑋 og 𝑋̅ er normalfordelte vil også 𝑋 βˆ’ 𝑋̅ være normalfordelte. Ut i fra dette får vi den standard
normalfordelte observatoren
𝑍=
𝑋 βˆ’ 𝑋̅
𝜎√1 +
1
𝑛
hvor vi har satt inn oppdaterte verdier i det vanlige uttrykket for 𝑍. Når vi ikke kjenner 𝜎 bytter vi ut denne med
𝑠 og får en helt tilsvarende 𝑇-observator. Disse observatorene brukes til å lage prediksjonsintervall på samme
måte som man lagde konfidensintervall.
Resultatene av en vitenskapelig undersøkelse er gjerne svært sensitiv for «dårlig» data med verdier som ligger
langt unna snittet. En outlier («vill observasjon» på norsk, ikke uteligger) er en observasjon som faller utenfor
prediksjonsintervallet man regner ut ved å bruke alle andre verdier enn observasjonen det er snakk om.
TOUTVALGS ESTIMERING : ESTIMERING AV FORS KJELLEN MELLOM TO MIDDELVERDIER
KJENTE VARIANSER
Vi har to populasjoner 𝑋1 , … , 𝑋𝑛 og π‘Œ1 , … , π‘Œπ‘š med størrelser 𝑛 og π‘š, middelverdier πœ‡π‘‹ og πœ‡π‘Œ og varianser πœŽπ‘‹2 og
πœŽπ‘Œ2 . Et punktestimat for forskjellen πœ‡π‘‹ βˆ’ πœ‡π‘Œ mellom middelverdiene til to forskjellige populasjoner er 𝑋̅ βˆ’ π‘ŒΜ…,
som er normalfordelt med forventningsverdi πœ‡π‘‹ βˆ’ πœ‡π‘Œ og varians
𝑍=
2
πœŽπ‘‹
𝑛
+
πœŽπ‘Œ2
π‘š
. Vi har derfor at
(𝑋̅ βˆ’ π‘ŒΜ…) βˆ’ (πœ‡π‘‹ βˆ’ πœ‡π‘Œ )
2
2
βˆšπœŽπ‘‹ + πœŽπ‘Œ
𝑛
π‘š
Fra dette uttrykket utledes konfidensintervall for πœ‡π‘‹ βˆ’ πœ‡π‘Œ .
UKJENTE VARIANSER
Hvis vi ikke kjenner til πœŽπ‘‹2 og πœŽπ‘Œ2 , men antar at πœŽπ‘‹2 = πœŽπ‘Œ2 = 𝜎 2 (som vi ofte gjør i virkelige eksperimenter hvor vi
for eksempel tester en populasjon mot en kontrollpopulasjon), kan vi fortsatt lage konfidensintervaller med litt
arbeid.
-
2
(π‘›βˆ’1)𝑆𝑋
𝜎2
og
(π‘šβˆ’1)π‘†π‘Œ2
𝜎2
er kjikvadratfordelte med henholdsvis 𝑛 βˆ’ 1 og π‘š βˆ’ 1 frihetsgrader
summen av to kjikvadratfordelte variabler er kjikvadratfordelt med summen av frihetsgradene, så 𝑉 =
2
(π‘›βˆ’1)𝑆𝑋
+(π‘šβˆ’1)π‘†π‘Œ2
𝜎
er kjikvadratfordelt med 𝜈 = 𝑛 + π‘š βˆ’ 2 frihetsgrader
(𝑋̅ βˆ’π‘ŒΜ… )βˆ’(πœ‡π‘‹ βˆ’πœ‡π‘Œ )
𝑇=
-
Hvis vi lar 𝑆𝑃2 «S pooled» være en estimator for 𝜎, der 𝑆𝑝2 =
til 𝑇 =
1 1
𝜎2[ + ]
𝑛 π‘š
/√
2 +(π‘šβˆ’1)𝑆 2
(π‘›βˆ’1)𝑆𝑋
π‘Œ
-
𝜎 2 (𝑛+π‘šβˆ’2)
er t-fordelt med 𝜈 = 𝑛 + π‘š βˆ’ 2 frihetsgrader
2
(π‘›βˆ’1)𝑆𝑋
+(π‘šβˆ’1)π‘†π‘Œ2
𝑛+π‘šβˆ’2
, forenkles uttrykket for 𝑇
(𝑋̅ βˆ’π‘ŒΜ… )βˆ’(πœ‡π‘‹ βˆ’πœ‡π‘Œ )
1 1
𝑛 π‘š
.
𝑆𝑝 √ +
-
Fra dette utledes et konfidensintervall for πœ‡π‘‹ βˆ’ πœ‡π‘Œ .
Det viktigste å ta med seg fra dette er uttrykket for 𝑆𝑃2 , som er et vektet gjennomsnitt av 𝑆𝑋 og π‘†π‘Œ , og det
endelige uttrykket for 𝑇.
Når πœŽπ‘‹2 β‰  πœŽπ‘Œ2 trenger vi en t-fordeling med 𝜈 =
2
(𝑆𝑋
/𝑛+π‘†π‘Œ2 /π‘š)
2
2
2
2
2
(𝑆 /𝑛)
(𝑆 /π‘š)
[ 𝑋
]+[ π‘Œ
]
π‘›βˆ’1
frihetsgrader. Uttrykket for 𝜈 er et
π‘šβˆ’1
2
spesialtilfelle av Welch-Satterthwaites formel,
2
(βˆ‘π‘
𝑖=1 𝑆𝑖 /𝑛𝑖 )
2
(𝑆2
𝑖 /𝑛𝑖 )
βˆ‘π‘
𝑖=1 𝑛 βˆ’1
𝑖
, her med 𝑁 = 2. 𝜈 er sjelden et heltall, så det rundes
ned til nærmeste heltall. Siden 𝜈 nå er estimert, får vi her et estimert konfidensintervall, så vi må bytte ut =
med β‰ˆ i uttrykket for konfidensintervallet.
Som regel, men ikke alltid, får vi et kortere (mer presist) konfidensintervall ved færre antagelser (f.eks å ikke
anta at πœŽπ‘‹2 = πœŽπ‘Œ2 ).
ESTIMAT AV P I BINOMIALFORDELINGE N
ETT UTVALG: ESTIMAT AV 𝑝
𝑋
Hvis 𝑋 er antall suksesser i en binomisk forsøksrekke vil 𝑃̂ = være en naturlig estimator av 𝑝. Vi finner
𝑛
verdien π‘₯ til 𝑋 og bruker 𝑝̂ = π‘₯/𝑛 til å estimere 𝑝. Når 𝑝 forventes å ikke være ekstremt nær 0 eller 1 kan vi via
sentralteoremet bruke at, for tilstrekkelig store 𝑛, er 𝑃̂ tilnærmet normalfordelt med
𝑋
𝑛𝑝
πœ‡π‘ƒΜ‚ = 𝐸(𝑃̂ ) = 𝐸 ( ) =
=𝑝
𝑛
𝑛
πœŽπ‘ƒ2Μ‚ = πœŽπ‘‹2 =
𝑛
πœŽπ‘‹2 𝑛𝑝(1 βˆ’ 𝑝) 𝑝(1 βˆ’ 𝑝)
=
=
𝑛2
𝑛2
𝑛
Dette gir oss en ny standardfordelt observator og et nytt konfidensintervall (for enten 𝑝 eller minste akseptable
verdi til 𝑛) der
𝑍=
𝑃̂ βˆ’ 𝑝
βˆšπ‘(1 βˆ’ 𝑝)
𝑛
Det er vanskelig (men mulig) å finne et eksakt uttrykk for 𝑝, så hvis 𝑛 er stor nok bytter man ut 𝑝 med 𝑝̂ = π‘₯/𝑛 i
rotuttrykket. For å være sikker, kreves det at både 𝑛𝑝̂ > 5 og 𝑛(1 βˆ’ 𝑝̂ ) > 5, ellers kan man ikke stole på denne
metoden.
Metoden kan også brukes når en binomisk fordeling brukes til å approksimere en hypergeometrisk fordeling,
dvs. når 𝑁 ≫ 𝑛.
TO UTVALG: ESTIMAT AV 𝑝𝑋 βˆ’ π‘π‘Œ
Vi ser på to utvalg med størrelse 𝑛 og π‘š, middelverdier 𝑛𝑝𝑋 og π‘šπ‘π‘Œ og varianser 𝑛𝑝𝑋 (1 βˆ’ 𝑝𝑋 ) og
π‘šπ‘π‘Œ (1 βˆ’ π‘π‘Œ ). Vi finner antall suksesser i hvert tilfelle, altså π‘₯ og 𝑦, og lager estimatorene 𝑝̂𝑋 = π‘₯/𝑛 og π‘Μ‚π‘Œ =
𝑦/π‘š for 𝑝𝑋 og π‘π‘Œ . Fra dette får vi en estimator 𝑃̂𝑋 βˆ’ π‘ƒΜ‚π‘Œ for 𝑝𝑋 βˆ’ π‘π‘Œ . Et standard resonnement gir oss
𝑍=
(𝑃̂𝑋 βˆ’ π‘ƒΜ‚π‘Œ ) βˆ’ (𝑝𝑋 βˆ’ π‘π‘Œ )
βˆšπ‘π‘‹ (1 βˆ’ 𝑝𝑋 ) + π‘π‘Œ (1 βˆ’ π‘π‘Œ )
𝑛
π‘š
Hvis 𝑛𝑝̂ > 5, 𝑛(1 βˆ’ 𝑝̂ ) > 5, π‘šπ‘Μ‚ > 5 og π‘š(1 βˆ’ 𝑝̂ ) > 5 gjør vi som før og bytter ut 𝑝𝑋 med 𝑝̂𝑋 , og π‘π‘Œ med π‘Μ‚π‘Œ .
ETT UTVALG: ESTIMAT AV 𝜎
Vi ser på et utvalg med størrelse 𝑛 fra en normalfordelt populasjon med varians 𝜎 2 og regner ut
utvalgsvariansen 𝑠 2 , som er verdien til estimatoren 𝑆 2 av 𝜎 2 . For å lage et konfidensintervall bruker vi at 𝑉 =
(π‘›βˆ’1)𝑆 2
𝜎2
2
er πœ’ 2 -fordelt med 𝜈 = 𝑛 βˆ’ 1 frihetsgrader og bruker vanlig metode for å utlede konfidensintervallene
til πœ’ -fordelte variable.
TO UTVALG: ESTIMAT AV πœŽπ‘‹2 /πœŽπ‘Œ2
Dette er ganske slitsomt, og ikke pensum.
SANNSYNLIGHETSMAKSIMERIN GSESTIMATORER
I situasjoner der det ikke er intuitivt hva slags estimator vi bør velge, gir
sannsynlighetsmaksimeringsestimeringsprinsippet en systematisk metode for å finne estimatorer. Denne går
ut på å finne parameterverdien som maksimerer sannsynligheten for å observere det vi har observert.
Metoden tar litt tid å forstå, men er veldig enkel å bruke. En estimator for πœƒ som utledes med denne metoden
kalles sannsynlighetsmaksimeringsestimatoren til πœƒ.
På engelsk kalles metoden maximum likelihood estimation, som gjør det tydelig at man ikke kan bruke
likelihood og probability om hverandre uten å være forsiktig – på norsk kunne man kanskje brukt «rimelighet».
Når en student 𝑆 er lei av å snakke om lengden av ordene som brukes i dette temaet, kalles 𝑆 en
sannsynlighetsmaksimeringsestimeringsprinsippfagbegrepnavngivningstilbakemeldinggivningslei student.
LIKELIHOODFUNKSJONEN
Hvis 𝑿 = 𝑋1 , … , 𝑋𝑛 er et tilfeldig utvalg som vi vil bruke til å estimere en parameter πœƒ, kan vi definere
likelihoodfunksjonen 𝐿(𝒙; πœƒ) = 𝑃(𝑋1 = π‘₯1 , … , 𝑋𝑛 = π‘₯𝑛 |πœƒ) = 𝑓𝑋1,…,𝑋𝑛 (𝒙; πœƒ) for henholdsvis det diskrete og det
kontinuerlige tilfellet. Siden vi som regel gjør 𝑛 uavhengige observasjoner forenkles uttrykket til det mer
brukbare
𝑛
𝑛
𝐿(𝒙; πœƒ) = 𝑃(𝑋1 = π‘₯1 ) … 𝑃(𝑋𝑛 = π‘₯𝑛 ) = ∏ 𝑃(π‘‹π‘˜ = π‘₯π‘˜ ) = 𝑓(π‘₯1 ; πœƒ) … 𝑓(π‘₯𝑛 ; πœƒ) = ∏ 𝑓(π‘₯π‘˜ ; πœƒ)
π‘˜=1
π‘˜=1
𝑃-notasjonen kan naturligvis bare brukes i det diskrete tilfellet siden man i det kontinuerlige tilfellet har at
π‘₯
𝑃(𝑋 = π‘₯) = 𝑃(π‘₯ ≀ 𝑋 ≀ π‘₯) = ∫π‘₯ 𝑓(π‘₯)𝑑π‘₯ = 0.
Vi ønsker å finne verdien πœƒΜ‚ for πœƒ som maksimerer 𝐿(𝒙; πœƒ), eller mer formelt πœƒΜ‚: βˆ€πœƒ (𝐿(𝒙; πœƒΜ‚) β‰₯ 𝐿(𝒙; πœƒ)), eller
mindre formelt toppunktet til 𝐿. Noen ganger er det åpenbart hva πœƒΜ‚ må være, andre ganger kan vi bruke den
vanlige metoden for å finne toppunkter, altså å finne πœƒΜ‚ slik at
at
πœ•2
πœ•πœƒ2
πœ•
πœ•πœƒ
Μ‚ ) = 0. Det kan hende vi også må sjekke
𝐿(𝒙; πœƒ
𝐿(𝒙; πœƒ) < 0 siden vi sjelden er interessert i å finne sannsynlighetsminimeringsestimatoren til πœƒ.
Det er praktisk talt alltid lettere å finne maksimum til ln(𝐿) fordi vi da opererer med en sum i stedet for et
produkt:
𝑛
𝑛
ln(𝐿(𝒙; πœƒ)) = ln (∏ 𝑓(π‘₯π‘˜ |πœƒ)) = βˆ‘ ln(𝑓(π‘₯π‘˜ |πœƒ))
π‘˜=1
π‘˜=1
Siden ln() er en strengt voksende funksjon vil ln(𝐿) og 𝐿 ha samme maksimum.
INVARIANSEGENSKAPEN TIL SANNSYNLIGHETSMA KSIMERINGSESTIMATORE N
Hvis πœƒΜ‚ er en sannsynlighetsmaksimeringsestimator til πœƒ er πœΜ‚ = 𝑔(πœƒΜ‚ ) en sannsynlighetsmaksimeringsestimator
til 𝜏 = 𝑔(πœƒ). Derfor kan ofte man bruke kjente sannsynlighetsmaksimeringsestimatorer til å regne ut nye
sannsynlighetsmaksimeringsestimatorer.
FORVENTNING OG VARIANS TIL SANNSYNLIGHETSMAKSIMERINGSESTIMATOREN
Sannsynlighetsmaksimeringsestimatoren er ikke nødvendigvis forventningsrett, og den er heller ikke
nødvendigvis den mest effektive estimatoren. For eksempel er sannsynlighetsmaksimeringsestimatoren til 𝜎
1
gitt ved πœŽΜ‚ = βˆ‘π‘›π‘˜=1(𝑋 βˆ’ 𝑋̅)2 , som ikke er forventningsrett. Den går riktignok mot å være forventningsrett og
𝑛
blir tilstrekkelig effektiv når 𝑛 går mot ∞. Dessuten kan det hende at det er lett å finne en forventningsrett
estimator når man har funnet sannsynlighetsmaksimeringsestimatoren. I tilfellet med 𝜎 kan vi for eksempel
π‘›βˆ’1
𝑛
1
βˆ‘π‘›π‘˜=1(𝑋 βˆ’ 𝑋̅)2 slik at
bruke at 𝐸(πœŽΜ‚) =
𝜎 til å lage den forventningsrette estimatoren 𝑆 =
πœŽΜ‚ =
𝐸(𝑆) =
𝑛
π‘›βˆ’1
πœŽΜ‚ =
𝑛
𝑛 π‘›βˆ’1
π‘›βˆ’1 𝑛
π‘›βˆ’1
π‘›βˆ’1
𝜎 = 𝜎.
10. HYPOTESETESTING
En statistisk hypotese er en påstand om en eller flere populasjoner. Når vi tester en hypotese, undersøker vi
om påstanden er tilstrekkelig sannsynlig. For å teste en hypotese, finner man først nullhypotesen 𝐻0 , som er
hypotesen vi ønsker å utfordre, gjerne hypotesen man på forhånd antar – «status quo». Så setter man opp den
alternative hypotesen 𝐻1 slik at å forkaste 𝐻0 er ekvivalent med å akseptere 𝐻1 . Konklusjonen av en
hypotesetest er nødvendigvis en av de to følgende:
-
Vi forkaster 𝐻0 til fordel for 𝐻1 fordi det finnes tilstrekkelig grunnlag for dette i observasjonene våre
Vi mislykkes i å forkaste 𝐻0 fordi det ikke finnes tilstrekkelig grunnlag i observasjonene våre
Testen gjøres ved å velge et signifikansnivå 𝛼, definere en testobservator 𝑉 = 𝑉(𝒙) (der 𝒙 er datasettet vårt),
og dele opp verdiområdet til 𝑉 i et forkastningsområde 𝐢 og et akseptområde 𝐴 slik at testresultatet med
sannsynlighet 1 βˆ’ 𝛼 havner i 𝐴 dersom 𝐻0 er riktig. Hvis testresultatet havner i 𝐢 forkaster vi 𝐻0 til fordel for
𝐻1 .
Hvis testresultatet havner i 𝐢 selv om 𝐻0 er sann vil vi feilaktig forkaste 𝐻0 . Dette er en type I-feil.
Sannsynligheten for å begå type I-feil er 𝛼. Hvis testresultatet havner i 𝐴 selv om 𝐻0 er usann vil vi feilaktig
mislykkes i å forkaste 𝐻0 . Dette er en type II-feil. Sannsynligheten for å type II-feil kalles 𝛽, som varierer med
hvor langt 𝐻0 er unna virkeligheten og først kan regnes ut når man har en spesifikk alternativ hypotese. 𝛼 og 𝛽
er negativt korrelerte, så når den ene er stor er den andre liten og omvendt. Vi kan gjøre sannsynligheten for å
begå type I feil så liten vi vil ved å velge en liten nok 𝛼, men sannsynligheten for å begå type II-feil øker med 𝛼.
Derfor må man gjøre en subjektiv vurdering og bestemme seg for hvilken type feil man helst vil unngå når man
velger 𝛼. Sannsynligheten for å begå både type I-feil og type II-feil synker med økende utvalgsstørrelse.
En p-verdi er det laveste signifikansnivået vi kan velge hvor den observerte verdien til testobservatoren gjør at
vi må forkaste 𝐻0 . Resultater oppgis gjerne som en ulikhet der p-verdien inngår, f.eks at 𝑝 > 0.05. Det er ofte
interessant å finne p-verdien fordi det gir et mer nyansert beslutningsgrunnlag enn ja/nei-svaret fra
hypotesetesten. For eksempel vil en p-verdi på 6% gjøre at vi ikke forkaster nullhypotesen dersom vi har en
hypotesetest med signifikansnivå på 5%, men det kan godt hende vi likevel gjør en beslutning basert på at
nullhypotesen ikke forkastes.
Styrken til en test er sannsynligheten for å forkaste 𝐻0 dersom en spesifikk alternativ hypotese er sann, og har
verdien 𝛾 = 1 βˆ’ 𝛽.
ENSIDIG OG TOSIDIG TEST
En test der 𝐢 er ett sammenhengende område kalles en ensidig test, og er på formen
𝐻0 : πœƒ = πœƒ0
𝐻1 : πœƒ > πœƒ0
der forkastningsområdet ligger i den høyre halen til fordelingsfunksjonen til πœƒ, eller
𝐻0 : πœƒ = πœƒ0
𝐻1 : πœƒ < πœƒ0
der forkastningsområdet ligger i den venstre halen til fordelingsfunksjonen til πœƒ.
En test der C deles opp i to områder kalles en tosidig test, og er på formen
𝐻0 : πœƒ = πœƒ0
𝐻1 : πœƒ β‰  πœƒ0
der forkastningsområdet gjerne har like stor sannsynlighetsmasse plassert i hver hale av fordelingsfunksjonen
til πœƒ.
Man velger gjerne 𝐻0 ved å velge den som kan uttrykkes med et likhetstegn, men når man gjør det i en ensidig
test kan man ikke bruke testen til å forkaste påstanden man får ved å snu ulikheten som 𝐻1 uttrykker. Men det
er gjerne påstanden som uttrykkes ved 𝐻1 vi er mest interessert i. De første eksemplene i boka gjør at dette blir
ganske klart.
NOEN VANLIGE TESTER AV FORVENTNINGER
FORVENTNING TIL GJENN OMSNITT VED KJENT VARIANS
Vi tar utgangspunkt i et utvalg 𝑋1 , … , 𝑋𝑛 fra en fordeling med ukjent middelverdi πœ‡ og kjent varians 𝜎 2 . Det
oppgis en πœ‡0 , og vi vil teste 𝐻0 mot 𝐻1 der
𝐻0 : πœ‡ = πœ‡0
𝐻1 : πœ‡ β‰  πœ‡0
Denne tosidige testen baseres på testobservatoren 𝑋̅, som for tilstrekkelig store 𝑛 er tilnærmet normalfordelt
med πœ‡π‘‹Μ… = πœ‡ og πœŽπ‘‹2Μ… =
𝜎2
𝑛
ved sentralgrenseteoremet. Så setter vi opp et konfidensintervall for å bestemme
forkastningsområdet basert på den observerte verdien π‘₯Μ… til 𝑋̅ ved å bruke den standardnormalfordelte
variabelen
𝑍=
Under 𝐻0 , altså hvis πœ‡ = πœ‡0, får vi at
𝑋̅ βˆ’ πœ‡
𝜎/βˆšπ‘›
𝑃 (βˆ’π‘§π›Ό/2 <
𝑋̅ βˆ’ πœ‡0
𝜎/βˆšπ‘›
< 𝑧𝛼/2 ) = 1 βˆ’ 𝛼
Så forkastningsområdet er (βˆ’βˆž, βˆ’π‘§π›Ό/2 ) βˆͺ (𝑧𝛼/2 , ∞). Vi forkaster 𝐻0 dersom π‘₯Μ… ligger i dette området. Med litt
regning finner vi ut at vi kan forkaste 𝐻0 dersom π‘₯Μ… < πœ‡0 βˆ’ 𝑧𝛼/2
|π‘₯Μ… βˆ’ πœ‡0 | > 𝑧𝛼/2
𝜎
βˆšπ‘›
𝜎
βˆšπ‘›
eller hvis π‘₯Μ… > πœ‡0 + 𝑧𝛼/2
𝜎
βˆšπ‘›
, altså hvis
.
Vi kan også skrive ulikheten med tanke på πœ‡0 , da får vi at 𝐻0 ikke forkastes når π‘₯Μ… βˆ’ 𝑧𝛼/2
𝜎
βˆšπ‘›
≀ πœ‡0 ≀ π‘₯Μ… + 𝑧𝛼/2
𝜎
βˆšπ‘›
.
Denne tosidige hypotesetesten er altså ekvivalent med å konstruere et (1 βˆ’ 𝛼)-konfidensintervall for πœ‡0 og
forkaste 𝐻0 dersom π‘₯Μ… er utenfor konfidensintervallet.
Hvis vi vil gjøre en ensidig test, er hele sannsynlighetsmassen til forkastningsområdet plassert i en hale av
fordelingen. Derfor vil vi bruke 𝛼-kvantilen i stedet for 𝛼/2-kvantilen. Ellers har vi akkurat samme prosedyre
som i den tosidige testen.
FORVENTNING TIL GJENNOMSNITT VED UKJENT VARIANS
Hvis vi har samme betingelser som i forrige test bortsett fra at 𝜎 2 også er ukjent, vil vi ved signifikansnivå 𝛼
forkaste 𝐻0 hvis den t-fordelte testobservatoren 𝑑 =
π‘₯Μ… βˆ’πœ‡0
𝑠/βˆšπ‘›
havner utenfor akseptområdet (βˆ’π‘‘π›Ό/2,π‘›βˆ’1 , 𝑑𝛼/2,π‘›βˆ’1 )
dersom vi har en tosidig test. Hvis vi har en ensidig test gjør vi tilsvarende det vi gjorde i forrige test.
DIFFERANSE MELLOM FORVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE U TVALG MED
KJENTE VARIANSER
Her har vi to utvalg som er tilstrekkelig store til at sentralgrenseteoremet gjelder, og ønsker å teste om det er
grunnlag for å si at det er en bestemt differanse mellom de to verdiene. Med samme notasjon som før: vi
ønsker å teste
𝐻0 : πœ‡π‘‹ βˆ’ πœ‡π‘Œ = 𝑑0
𝐻1 : πœ‡π‘‹ βˆ’ πœ‡π‘Œ β‰  𝑑0
Vi bruker
𝑍=
(𝑋̅ βˆ’ π‘ŒΜ…) βˆ’ (πœ‡π‘‹ βˆ’ πœ‡π‘Œ )
2
2
βˆšπœŽπ‘‹ + πœŽπ‘Œ
𝑛
π‘š
og gjennomfører testen på samme måte som vi gjorde tidligere.
DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED
UKJENTE, MEN LIKE, V ARIANSER
Når πœŽπ‘‹2 og πœŽπ‘Œ2 er ukjente, men vi har god grunn til å anta at πœŽπ‘‹2 = πœŽπ‘Œ2 = 𝜎 2 , gjør vi som i testen av forventning til
gjennomsnitt ved ukjent varians, men bruker 𝑑 =
(π‘₯Μ… βˆ’π‘¦Μ…)βˆ’π‘‘0
1 1
𝑛 π‘š
𝑠𝑝 /( + )
der 𝑠𝑝2 =
2 (𝑛+1)+𝑠 2 (π‘š+1)
𝑠𝑋
π‘Œ
𝑛+π‘šβˆ’2
og forkaster 𝐻0 hvis
observatoren havner utenfor akseptområdet (βˆ’π‘‘π›Ό/2,𝑛+π‘šβˆ’2 , 𝑑𝛼/2,𝑛+π‘šβˆ’2 ).
DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED
UKJENTE OG ULIKE VARIANSER
Se på kapittelet om estimering av forskjellen mellom to middelverdier med ukjente og ulike varianser og forstå
hva som bør gjøres.
PARRET T-TEST
PARREDE OBSERVASJONE R
Parrede observasjoner sammenligner to utvalg i tilfeller der hver verdi i ett utvalg har en naturlig partner i den
andre. Et typisk eksempel på dette er om vi vil sjekke vekten til en person før og etter en diett, da vil vekten til
et individ før dietten ha en naturlig partner i vekten til det samme individet etter dietten. Her vil det være mulig
å redusere et toutvalgsproblem til et ettutvalgsproblem.
Differansene 𝑑1 , … , 𝑑𝑛 i hvert par av observasjoner vil være verdiene til det tilfeldige utvalget 𝐷1 , … , 𝐷𝑛 fra en
populasjon av differanser. For tilstrekkelig store 𝑛 antar vi at populasjonen er normalfordelt med πœ‡π· = πœ‡1 βˆ’ πœ‡2
Μ… som punktestimat for πœ‡π· .
og en varians 𝜎𝐷2 som vi estimerer med den empiriske variansen 𝑠𝐷2 . Vi brukes 𝐷
Siden hvert par av observasjoner {𝑋𝑖 , π‘Œπ‘– } ikke vil være uavhengige av hverandre har vi at 𝜎𝐷2𝑖 = πœŽπ‘‹2𝑖 + πœŽπ‘Œ2𝑖 βˆ’
2πœŽπ‘‹π‘–π‘Œπ‘– .
PARRET T-TEST
Konfidensintervallet for πœ‡1 βˆ’ πœ‡2 baseres på variabelen 𝑇 =
Μ… βˆ’πœ‡π·
𝐷
𝑆𝐷 /βˆšπ‘›
og regnes ut med testobservatoren 𝑑 =
(𝑑̅ βˆ’π‘‘0 )
𝑠𝐷 /βˆšπ‘›
, og forkastningsområdet konstrueres med en 𝑑-fordeling med 𝑛 βˆ’ 1 frihetsgrader. Hypotesen vår blir
𝐻0 : πœ‡π· = 𝑑0
𝐻1 : πœ‡π· β‰  𝑑0
Ofte er 𝑑0 = 0, som når vi vil teste om en medisin eller prosedyre har noen effekt.
NÅR BØR MAN BRUKE EN PARRET T-TEST?
Hvis πΆπ‘œπ‘£(𝑋𝑖 , π‘Œπ‘– ) > 0 vil en parret t-test som oftest ha større teststyrke.
Hvis πΆπ‘œπ‘£(𝑋𝑖 , π‘Œπ‘– ) = 0 bør man bruke en toutvalgs t-test, som vil ha litt større styrke enn en parret t-test.
Hvis πΆπ‘œπ‘£(𝑋𝑖 , π‘Œπ‘– ) < 0 vil man feilaktig forkaste 𝐻0 for ofte ved en uparret t-test, og feilaktig mislykkes i å
forkaste 𝐻0 for ofte ved en parret t-test.
TESTSTYRKE
Styrkefunksjonen for en ensidig test er
𝛾 = 1 βˆ’ 𝛽 = 1 βˆ’ 𝑃(𝑇𝑦𝑝𝑒 𝐼𝐼 βˆ’ 𝑓𝑒𝑖𝑙|𝐻1 ) = 𝑃(π‘“π‘œπ‘Ÿπ‘˜π‘Žπ‘ π‘‘ 𝐻0 |𝐻1 )
Når vi har en spesifikk alternativ hypotese gir styrkefunksjonen en sammenheng mellom teststyrken 𝛾;
signifikansnivået 𝛼; avviket πœ‡ βˆ’ πœ‡0 mellom den sanne verdien πœ‡ og parameterverdien πœ‡Μ‚ under 𝐻0 ; variansen 𝜎 2
til observasjonene; og utvalgsstørrelsen 𝑛. Styrkefunksjonen kan derfor gi oss den siste av disse verdiene om vi
vet resten. Se boka for eksempler.
TEST FOR P MED BINOMISKE DATA
ETTUTVALGS TEST FOR P MED BINOMISKE DATA
Vi ønsker å teste om andelen suksesser 𝑝 i et binomisk forsøk er lik en forhåndsantatt verdi 𝑝0 .
Alternativhypotesen vil være 𝑝 < 𝑝0 , 𝑝 > 𝑝0 eller 𝑝 β‰  𝑝0 . Signifikansnivået vårt er 𝛼, og testobservatoren er en
binomisk variabel 𝑋 med 𝑝𝑋 = 𝑝0 . Fra datasettet vårt finner vi antall suksesser π‘₯.
Når 𝑛 er stor kan vi bruke en normaltilnærming på testobservatoren og sette 𝑍 =
π‘ƒΜ‚βˆ’π‘ƒ0
βˆšπ‘0 (1βˆ’π‘0 )/𝑛
𝑋
, der 𝑃̂ = . Her
𝑛
kan det hende at vi må bruke de samme tilnærmingene som vi brukte da vi estimerte 𝑝 i kapittel 9. Ellers
gjennomføres testen på akkurat samme måte som før. Vi kan også finne ut ting som hvor stor 𝑛 må være hvis vi
ønsker en gitt teststyrke.
Siden den binomiske fordelingen er diskret, er det sannsynligvis ikke mulig å lage et forkastningsområde som er
nøyaktig så stort at sannsynlighetsmassen til området er 𝛼. Det kan derfor være nyttig å heller bruke 𝑃-verdier
dersom 𝑛 er liten. Hvis vi har en ensidig test regner vi ut enten 𝑃 = 𝑃(𝑋 ≀ π‘₯|𝑝 = 𝑝0 ) eller 𝑃 = 𝑃(𝑋 β‰₯ π‘₯|𝑝 =
𝑝0 ). Hvis vi har en tosidig test regner vi ut 𝑃 = 2𝑃(𝑋 ≀ π‘₯|𝑝 = 𝑝0 ) hvis π‘₯ < 𝑛𝑝0 og 𝑃 = 2𝑃(𝑋 β‰₯ π‘₯|𝑝 = 𝑝0 ) hvis
π‘₯ > 𝑛𝑝0 . Vi forkaster 𝐻0 dersom 𝑃 < 𝛼.
TOUTVALGS TEST FOR FORSKJELL I P MED BINOMISKE DATA
Vi ønsker å teste om to andeler suksesser er like (for eksempel kan vi ønske å teste om andelen røykere med
lungekreft er større enn andelen ikkerøykere med lungekreft). Her tester vi nullhypotesen 𝐻0 : 𝑝𝑋 = π‘π‘Œ = 𝑝
𝑋
π‘Œ
mot alternativhypotesen 𝐻1 : 𝑝𝑋 β‰  π‘π‘Œ , og bruker observatorene 𝑃̂𝑋 = , π‘ƒΜ‚π‘Œ = . Under 𝐻0 er 𝐸(𝑃̂𝑋 βˆ’ π‘ƒΜ‚π‘Œ ) =
𝑛
π‘š
𝑝(1βˆ’π‘)
𝑝(1βˆ’π‘)
1
1
𝑝𝑋 βˆ’ π‘π‘Œ = 𝑝 βˆ’ 𝑝 = 0 og π‘‰π‘Žπ‘Ÿ(𝑃̂𝑋 βˆ’ π‘ƒΜ‚π‘Œ ) = π‘‰π‘Žπ‘Ÿ(𝑃̂𝑋 ) + π‘‰π‘Žπ‘Ÿ(π‘ƒΜ‚π‘Œ ) =
+
= 𝑝(1 βˆ’ 𝑝) ( + ).
𝑛
Normaltilmæring gir oss testobservatoren 𝑍 =
𝑃̂𝑋 βˆ’π‘ƒΜ‚π‘Œ
1 1
𝑛 π‘š
π‘š
𝑛
π‘š
, men vi kjenner ikke 𝑝. Derfor tilnærmer vi med
βˆšπ‘(1βˆ’π‘)( + )
π‘β‰ˆ
𝑃̂𝑋 βˆ’π‘ƒΜ‚π‘Œ
1 1
𝑛 π‘š
βˆšπ‘Μ‚(1βˆ’π‘Μ‚)( + )
, der 𝑝̂ er en «pooled estimator» (litt som 𝑆𝑝2 da vi skulle beregne forkjellen mellom
middelverdiene til to populasjoner med ukjente varianser) med verdien 𝑝̂ =
𝑛𝑃̂𝑋 +π‘šπ‘ƒΜ‚π‘Œ
𝑛+π‘š
=
𝑋+π‘Œ
𝑛+π‘š
. Under 𝐻0
tilsvarer dette en binomisk forsøksrekke med 𝑛 + π‘š forsøk der sannsynligheten for suksess i hvert tilfelle er 𝑝̂ .
Vi forkaster 𝐻0 hvis observatoren havner i forkastningsområdet.
TEST FOR VARIANS
Når vi skal utføre en hypotesetest der nullhypotesen er at variansen 𝜎 2 til en populasjon har en gitt verdi 𝜎02
mot en av de vanlige alternativhypotesene, bruker vi den samme kjikvadratfordelte observatoren som vi brukte
for å konstruere et konfidensintervall i kapittel 9. Testobservatoren vår blir derfor πœ’ 2 =
(π‘›βˆ’1)𝑠 2
𝜎02
. For en tosidet
2
2
test vil forkastningsområdet være at πœ’ 2 ligger utenfor intervallet (πœ’1βˆ’π›Ό/2
, πœ’π›Ό/2
), og for en ensidet test med
2
alternativhypotese 𝜎 2 < 𝜎02 eller 𝜎 2 > 𝜎02 vil forkastningsområdet være henholdsvis πœ’ 2 < πœ’1βˆ’π›Ό
eller πœ’ 2 > πœ’π›Ό2 .
Legg merke til hvordan kvantilene til kjikvadratfordelingen skiller seg fra normalfordelingen og t-fordelingen.
11. ENKEL LINEÆR REGRESJON
I dette kapittelet får man stor nytte av følgende identiteter:
𝑛
𝑛
βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… ) = βˆ‘ π‘₯𝑖 βˆ’ 𝑛π‘₯Μ… = 𝑛π‘₯Μ… βˆ’ 𝑛π‘₯Μ… = 0
𝑖=1
𝑛
𝑖=1
𝑛
𝑛
𝑛
𝑛
𝑛
βˆ‘ π‘₯𝑖 (π‘₯𝑖 βˆ’ π‘₯Μ… ) = βˆ‘ π‘₯𝑖 (π‘₯𝑖 βˆ’ π‘₯Μ… ) + 0π‘₯Μ… = βˆ‘ π‘₯𝑖 (π‘₯𝑖 βˆ’ π‘₯Μ… ) βˆ’ π‘₯Μ… βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… ) = βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… ) (π‘₯𝑖 βˆ’ π‘₯Μ… ) = βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑖=1
𝑖=1
𝑖=1
𝑖=1
𝑖=1
𝑖=1
som brukes til å beregne tre viktige estimatorer og deres forventningsverdi og varians.
REGRESJONSMODELLEN
Enkel lineær regresjon går ut på at vi utfører et forsøk der vi kontrollerer regresjonsvariabelen (eller
regressoren) π‘₯1 og måler responsvariabelen π‘Œ. Videre antar vi at forholdet mellom π‘₯ og π‘Œ kan approksimeres
godt med en lineær statistisk modell der vi antar at π‘Œ avhenger lineært av π‘₯ og at det er en tilfeldig
komponent involvert. Modellen skrives slik:
π‘Œ = 𝛼 + 𝛽π‘₯ + πœ–
𝛼 og 𝛽 er som vanlig henholdsvis konstantledd og stigningstall. πœ– representerer den tilfeldige feilen og antas å
være normalfordelt med middelverdi 0 (altså at 𝑦-verdiene er normalfordelt rundt en sanne regresjonslinjen
𝑦 = 𝛼 + 𝛽π‘₯) og en varians 𝜎 2 som vi kan kalle feilvariansen. Vi antar også at hver πœ–π‘– er uavhengig av andre πœ–π‘—
og at de alle har samme varians.
Vi kan aldri finne den sanne regresjonslinjen, men estimerer den med en tilpasset regresjonslinje 𝑦̂ = π‘Ž + 𝑏π‘₯
der π‘Ž og 𝑏 er estimater av henholdsvis 𝛼 og 𝛽. Estimater for 𝛼 og 𝛽 kan man finne med to metoder (som er
ekvivalente i den forstand at vi får de samme estimatorene).
METODER FOR Å FINNE ESTIMATORENE
MINSTE KVADRATE RS METODE
Her tar vi utgangspunkt i residualene 𝑒𝑖 = 𝑦𝑖 βˆ’ 𝑦̂𝑖 , som er feilen mellom den målte verdien og den estimerte
verdien. Jo mindre disse residualene er, jo bedre er modellen vår. Merk at residualene ikke er det samme som
den tilfeldige komponenten πœ–, som er en konseptuell greie som vi egentlig aldri observerer. Residualene kan vi
finne. Se boka for en grei figur som vise forskjellen mellom de to. Minste kvadraters metode går ut på å finne
estimater som minimerer residualenes kvadratsum 𝑆𝑆𝐸, der verdien til 𝑆𝑆𝐸 er gitt ved
𝑛
𝑆𝑆𝐸 =
βˆ‘ 𝑒𝑖2
𝑖=1
1
𝑛
= βˆ‘(𝑦𝑖 βˆ’ 𝑦̂𝑖
𝑖=1
𝑛
)2
= βˆ‘(𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖 )2
𝑖=1
I multippel regresjon kontrollerer vi et sett uavhengige regresjonsvariable 𝒙 = π‘₯1 , … , π‘₯𝑛 , men vi måler fortsatt
bare én responsvariabel.
Siden vi vil minimere 𝑆𝑆𝐸 er det naturlig å finne π‘Ž og 𝑏 slik at den deriverte blir 0. Derivering med hensyn på π‘Ž
gir oss:
𝑛
πœ•
𝑆𝑆𝐸 = βˆ’2 βˆ‘(𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖 ) = 0
πœ•π‘Ž
𝑖=1
fra dette følger
𝑛
𝑛
𝑖=1
𝑖=1
1
𝑏
π‘Ž = βˆ‘ 𝑦𝑖 βˆ’ βˆ‘ π‘₯𝑖 = 𝑦̅ βˆ’ 𝑏π‘₯Μ…
𝑛
𝑛
Derivering med hensyn på 𝛽 gir oss
𝑛
πœ•
𝑆𝑆𝐸 = βˆ’2 βˆ‘(𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖 ) π‘₯𝑖 = 0
πœ•π‘
𝑖=1
hvor vi kan sette inn uttrykket for π‘Ž:
𝑛
𝑛
𝑛
𝑛
βˆ‘(𝑦𝑖 βˆ’ 𝑦̅ + 𝑏π‘₯Μ… βˆ’ 𝑏π‘₯𝑖 ) π‘₯𝑖 = βˆ‘((𝑦𝑖 βˆ’ 𝑦̅)π‘₯𝑖 βˆ’ 𝑏(π‘₯𝑖 βˆ’ π‘₯Μ… )π‘₯𝑖 ) = βˆ‘(𝑦𝑖 βˆ’ 𝑦̅)π‘₯𝑖 βˆ’ 𝑏 βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )π‘₯𝑖
𝑖=1
𝑖=1
𝑖=1
𝑏=
𝑖=1
βˆ‘π‘›π‘–=1(𝑦𝑖 βˆ’ 𝑦̅)π‘₯𝑖
βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )π‘₯𝑖
og bruker at βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… ) = 0 samt svart magi til å se at dette er det samme som
𝑏=
βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )𝑦𝑖
βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
Vi kan bruke dette uttrykket for 𝑏 i uttrykket for π‘Ž for å finne tallverdiene til estimatene. Det kan vises at både
π‘Ž og 𝑏 er forventningsrette.
SANNSYNLIGHETSMAKSIMERINGSESTIMATORMETODEN
Praktisk nok er estimatorene vi fant med minste kvadraters metode også
sannsynlighetsmaksimeringsestimatorene til 𝛼 og 𝛽.
π‘Œ er normalfordelt med πœ‡π‘Œ = 𝛼 + 𝛽π‘₯𝑖 og πœŽπ‘Œ2 = 𝜎 2 , så likelihoodfunksjonen er
𝑛
𝐿(𝑦1 , … , 𝑦𝑛 ; 𝛼, 𝛽, 𝜎
2)
=
𝑛
= 𝑓(𝑦1 , … , 𝑦𝑛 ) = ∏ 𝑓𝑖(𝑦𝑖 ) = ∏
𝑖=1
𝑖=1
𝑛
𝑛 (βˆ’ 1 ) βˆ‘π‘› (𝑦 βˆ’π›Όβˆ’π›½π‘₯ )2
βˆ’
βˆ’
𝑖
𝑖
2
2
𝑖=1
(2πœ‹) 2 (𝜎 ) 2 𝑒 2𝜎
1
√2πœ‹πœŽ 2
𝑒
βˆ’(
1
)(𝑦𝑖 βˆ’π‘Žβˆ’π‘π‘₯𝑖 )2
2𝜎 2
𝑛
𝑛
1
ln(𝐿) = βˆ’ ln(2πœ‹πœŽ 2 ) βˆ’ 2 βˆ‘(𝑦𝑖 βˆ’ 𝛼 βˆ’ 𝑏π‘₯𝑖 )
2
𝜎
𝑖=1
Hvis vi deriverer ln(𝐿) med hensyn på både π‘Ž og 𝑏 og setter de deriverte lik 0 får vi de samme ligningene som
vi fikk med forrige metode. Det er også rett frem å finne en estimator for 𝜎 2 :
𝑛
πœ•
𝑛 1
1
ln(𝐿) = βˆ’ ( 2 ) +
βˆ‘(𝑦𝑖 βˆ’ 𝛼 βˆ’ 𝛽π‘₯𝑖 ) = 0
πœ•πœŽ 2
2 𝜎
2(𝜎 2 )2
𝑖=1
som gir oss sannsynlighetsmaksimeringsestimatoren
𝑛
1
πœŽΜ‚ = βˆ‘(𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖 )2
𝑛
2
𝑖=1
Det kan vises at denne ikke er forventningsrett. Hvis vi regner på forventningsverdien til πœŽΜ‚ 2 ser vi at en
forventningsrett estimator 𝑠 2 for regresjonsmodellen blir
𝑛
𝑛
𝑖=1
𝑖=1
1
1
𝑠 =
βˆ‘(𝑦𝑖 βˆ’ π‘Ž βˆ’ 𝑏π‘₯𝑖 )2 =
βˆ‘(𝑦𝑖 βˆ’ 𝑦̂)2
π‘›βˆ’2
π‘›βˆ’2
2
EGENSKAPENE TIL ESTIMATORENE
I tillegg til at π‘Ž, 𝑏, 𝑠 2 er forventningsrette estimatorer har vi at
π‘‰π‘Žπ‘Ÿ(𝑏) =
π‘‰π‘Žπ‘Ÿ(π‘Ž) =
𝜎2
βˆ’ π‘₯Μ… )2
βˆ‘π‘›π‘–=1(π‘₯𝑖
𝜎 2 βˆ‘π‘›π‘–=1 π‘₯𝑖2
1
π‘₯Μ… 2
2
=
𝜎
(
+
(
))
𝑛
𝑛
βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑛 βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑛
For å utlede π‘‰π‘Žπ‘Ÿ(π‘Ž) vil vi være nødt til å regne ut πΆπ‘œπ‘£(π‘ŒΜ… , 𝑏) siden π‘ŒΜ… og 𝑏 ikke er uavhengige.
𝑉=
(π‘›βˆ’2)𝑆 2
𝜎2
=
1
𝜎2
βˆ‘π‘›π‘–=1(π‘Œπ‘– βˆ’ 𝐴 βˆ’ 𝐡π‘₯𝑖 )2 er kjikvadratfordelt med 𝜈 = 𝑛 βˆ’ 2 frihetsgrader. Vi kan tolke det at vi
deler på 𝑛 βˆ’ 2 i uttrykket for 𝑠 2 som at vi får noe større varians fordi vi må estimere to variable i stedet for én.
KONFIDENSINTERVALL OG HYPOTESETESTER FOR 𝛼, 𝛽 OG 𝜎 2
Vi kan lage konfidensintervall og teste hypoteser om 𝛼 og 𝛽 på akkurat samme måte som tidligere, men der vi
før ville brukt t- og πœ’ 2 -fordelinger med 𝑛 βˆ’ 1 frihetsgrader må vi nå bruke fordelinger med 𝜈 = 𝑛 βˆ’ 2
frihetsgrader. Testobservatorene våre vil være
𝑇=
π΅βˆ’π›½
𝑆/βˆšβˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )
for stigningstallet og
𝑇=
π΄βˆ’π›Ό
βˆ‘π‘› π‘₯ 2
π‘†βˆš 𝑛 𝑖=1 𝑖
𝑛 βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
for konstantleddet.
PREDIKSJON MED REGRE SJONSMODELLEN
PREDIKSJON AV ÉN VER DI
Vi kan bruke regresjonsmodellen til å forutsi verdien 𝑦0 til π‘Œ0 i punktet π‘₯ = π‘₯0 der π‘₯0 ikke nødvendigvis er en
verdi vi på forhånd har målt responsen til. Vi gjør dette ved å se på observatoren π‘Œ0 βˆ’ π‘ŒΜ‚0 , som er normalfordelt
med
𝐸(π‘Œ0 βˆ’ π‘ŒΜ‚0 ) = 𝐸(π‘Œ0 ) βˆ’ 𝐸(π‘ŒΜ‚0 ) = 𝐸(𝐴 + 𝐡π‘₯0 ) βˆ’ 𝐸(π‘Œ0 ) = 𝛼 + 𝛽π‘₯0 βˆ’ 𝛼 βˆ’ 𝛽π‘₯0 = 0
π‘‰π‘Žπ‘Ÿ(π‘Œ0 βˆ’ π‘ŒΜ‚0 ) = π‘‰π‘Žπ‘Ÿ(π‘Œ0 ) + π‘‰π‘Žπ‘Ÿ(π‘ŒΜ‚0 )π‘‰π‘Žπ‘Ÿ(π‘Œ0 ) + π‘‰π‘Žπ‘Ÿ(𝐴 + 𝐡π‘₯0 ) = 𝜎 2 + π‘‰π‘Žπ‘Ÿ(𝐴 + 𝐡π‘₯0 βˆ’ 𝐡π‘₯Μ… + 𝐡π‘₯Μ… )
= 𝜎 2 + π‘‰π‘Žπ‘Ÿ((𝐴 + 𝐡π‘₯Μ… ) + 𝐡π‘₯0 βˆ’ 𝐡π‘₯Μ… ) = 𝜎 2 + π‘‰π‘Žπ‘Ÿ(π‘ŒΜ…) + π‘‰π‘Žπ‘Ÿ(𝐡(π‘₯0 βˆ’ π‘₯Μ… ))
= 𝜎 2 + π‘‰π‘Žπ‘Ÿ(π‘ŒΜ…) + (π‘₯0 βˆ’ π‘₯Μ… )2 π‘‰π‘Žπ‘Ÿ(𝐡) = 𝜎 2 +
= 𝜎 2 (1 +
𝜎2
𝜎 2 (π‘₯0 βˆ’ π‘₯Μ… )2
+ 𝑛
𝑛 βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
(π‘₯0 βˆ’ π‘₯Μ… )2
1
+ 𝑛
)
𝑛 βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
Vi lager prediksjonsintervallet vårt ved å bruke observatoren
π‘Œ0 βˆ’ π‘ŒΜ‚0
𝑇=
π‘†βˆš1 +
1 (π‘₯π‘œ βˆ’ π‘₯Μ… )2
+
𝑛 βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )2
som er t-fordelt med 𝜈 = 𝑛 βˆ’ 2 frihetsgrader.
PREDIKSJON AV GJENNO MSNITTSRESPONS
Vi kan også finne gjennomsnittsresponsen πœ‡π‘Œ|π‘₯0 til π‘Œ i π‘₯ = π‘₯0 , altså hvilket gjennomsnitt vi vil få dersom vi
måler verdien til π‘Œ mange ganger i punktet π‘₯ = π‘₯0 . Her vil vi få lavere varians, siden vi forutsier et gjennomsnitt
i stedet for en enkelt verdi. Da ser vi på π‘ŒΜ‚0 som er normalfordelt med en middelverdi og varians som vi fant i
utledningen av middelverdien og variansen til π‘Œ0 βˆ’ π‘ŒΜ‚0 :
πœ‡π‘Œ|π‘₯0 = 𝐸(π‘ŒΜ‚0 ) = 𝛼 + 𝛽π‘₯0
(π‘₯0 βˆ’ π‘₯Μ… )2
1
πœŽπ‘ŒΜ‚20 = 𝜎 2 ( + 𝑛
)
𝑛 βˆ‘π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
Vi lager prediksjonsintervallet vårt ved å bruke observatoren
𝑇=
π‘ŒΜ‚0 βˆ’ πœ‡π‘Œ|π‘₯0
1 (π‘₯ βˆ’ π‘₯Μ… )2
π‘†βˆš + π‘œ
𝑛 βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )2
som er t-fordelt med 𝜈 = 𝑛 βˆ’ 2 frihetsgrader.
KORRELASJON
Nå gir vi slipp på antagelsen om at π‘₯1 , … , π‘₯𝑛 er verdier vi kan kontrollere eller måle med neglisjerbar feil. I bruk
av regresjon er det gjerne slik at både 𝑋 og π‘Œ begge er tilfeldige variable, og at målingene våre
(π‘₯1 , 𝑦1 ), … , (π‘₯𝑛 , 𝑦𝑛 ) er observasjoner fra en populasjon med simultan sannsynlighetstetthet 𝑓(π‘₯, 𝑦).
Korrelasjonsanalyse beregner i hvilken grad 𝑋 henger sammen med π‘Œ gjennom en korrelasjonskoeffisient.
2
Vi antar at marginaltettheten 𝑓(𝑦|π‘₯) til π‘Œ er normalfordelt med middelverdi πœ‡π‘Œ|π‘₯ = 𝛼 + 𝛽π‘₯ og varians πœŽπ‘Œ|π‘₯
=
𝜎 2 for en gitt verdi π‘₯ av 𝑋, og at 𝑋 er normalfordelt med middelverdi πœ‡ og varians πœŽπ‘‹2 . Dette gir den simultane
tetthetsfunksjonen
1 π‘¦βˆ’π›Όβˆ’π›½π‘₯
βˆ’ ((
)
1
𝜎
𝑓𝑋,π‘Œ (π‘₯, 𝑦) = π‘“π‘Œ|𝑋 (𝑦|π‘₯)𝑓𝑋 (π‘₯) =
𝑒 2
2πœ‹πœŽπ‘‹ 𝜎
over området βˆ’βˆž < π‘₯ < ∞, βˆ’βˆž < 𝑦 < ∞.
2
+(
π‘₯βˆ’πœ‡π‘‹ 2
) )
πœŽπ‘‹
Vi kan skrive π‘Œ på formen π‘Œ = 𝛼 + 𝛽𝑋 + πœ– der 𝑋 er en stokastisk variabel som er uavhengig av den tilfeldige
feilen πœ–. Dette gir oss πœ‡π‘Œ = 𝛼 + π›½πœ‡π‘‹ og πœŽπ‘Œ2 = 𝛽 2 πœŽπ‘‹2 + 𝜎 2. Uttrykkene vi får for 𝛼 og 𝜎 kan vi putte inn i den
simultane tetthetsfunksjonen for å få en bivariat normalfordeling med det deilige uttrykket
𝑓𝑋,π‘Œ (π‘₯, 𝑦) =
1
2πœ‹πœŽπ‘‹ πœŽπ‘Œ √1 βˆ’ 𝜌2
𝑒
1
π‘₯βˆ’πœ‡π‘‹ 2
π‘₯βˆ’πœ‡π‘‹ π‘¦βˆ’πœ‡π‘Œ
π‘¦βˆ’πœ‡π‘Œ 2
βˆ’
((
) βˆ’2𝜌(
)(
)+(
) )
πœŽπ‘‹
πœŽπ‘‹
πœŽπ‘Œ
πœŽπ‘Œ
2(1βˆ’πœŒ2 )
der
𝜌2 = 1 βˆ’
𝜎2
𝜎2
2 𝑋
=
𝛽
πœŽπ‘Œ2
πœŽπ‘Œ2
kalles populasjonskorrelasjonskoeffisienten.
Verdien til 𝜌 er 0 når 𝛽 = 0: når regresjonslinja er flat er det ingen korrelasjon mellom 𝑋 og π‘Œ i populasjonen.
Siden πœŽπ‘Œ2 > 𝜎 2 må 𝜌2 ≀ 1 slik at βˆ’1 ≀ 𝜌 ≀ 1. Hvis 𝜌 = ±1 har vi et perfekt lineært forhold mellom 𝑋 og π‘Œ der
𝜎 2 = 0. Derfor vil en 𝜌 som ligger nær 1 i absoluttverdi tyde på god korrelasjon eller lineær assosiasjon mellom
𝑋 og π‘Œ, mens verdier nærmere 0 tyder på liten eller ingen korrelasjon.
Vi kan få et estimat av 𝜌 ved å bruke identiteten
𝑛
𝑛
2
𝑆𝑆𝐸 = βˆ‘(𝑦𝑖 βˆ’ 𝑦̅) βˆ’ 𝑏 βˆ‘(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑖=1
2
𝑖=1
som gir oss
𝑏2
βˆ‘π‘›π‘–=1(π‘₯𝑖 βˆ’ π‘₯Μ… )2
𝑆𝑆𝐸
=1βˆ’ 𝑛
𝑛
2
βˆ‘π‘–=1(𝑦𝑖 βˆ’ 𝑦̅)
βˆ‘π‘–=1(𝑦𝑖 βˆ’ 𝑦̅)2
βˆ‘π‘› (π‘₯ βˆ’π‘₯Μ… )2
Kvadratroten av denne, π‘Ÿ = π‘βˆšβˆ‘π‘›π‘–=1(𝑦𝑖
𝑖=1
Μ…)
𝑖 βˆ’π‘¦
2
, brukes som estimat for 𝜌 og kalles
utvalgskorrelasjonskoeffisienten.
π‘Ÿ 2 kalles utvalgsdeterminasjonskoeffisienten. Denne forteller oss hvor stor andel av variasjonen i verdiene til
π‘Œ som kan gjøres rede for av et lineært forhold til verdiene til 𝑋. En korrelasjon π‘Ÿ0 betyr at (100%)π‘Ÿ02 av den
totale variasjonen i verdiene til π‘Œ som kan gjøres rede for av et lineært forhold til verdiene til 𝑋.