STATISTIKK :D INNHOLD Et par ting som kan bli nyttige .................................................... 2 To utvalg: estimat av ππ2/ππ2 ..................................... 13 2. Sannsynlighetsregning ............................................................ 2 Sannsynlighetsmaksimeringsestimatorer ............................ 13 3. Stokastiske variable og sannsynlighetsfordelinger. ................. 2 Likelihoodfunksjonen ..................................................... 13 4. Forventning og varians ............................................................ 3 5. Diskrete fordelinger ................................................................ 4 Diskret uniform fordeling ...................................................... 4 Invariansegenskapen til sannsynlighetsmaksimeringsestimatoren ...................... 14 Binomisk fordeling ................................................................ 4 Forventning og varians til sannsynlighetsmaksimeringsestimatoren ...................... 14 Multinomisk fordeling ........................................................... 4 10. Hypotesetesting .................................................................. 14 Hypergeometrisk fordeling ................................................... 4 Negativ binomisk fordeling ................................................... 5 Poissonfordeling ................................................................... 5 6. Kontinuerlige sannsynlighetsfordelinger................................. 5 Uniform kontinuerlig fordeling ............................................. 5 Normalfordeling .................................................................... 5 Gammafordelingen ............................................................... 6 Lognormalfordelingen........................................................... 7 Ensidig og tosidig test.......................................................... 15 Noen vanlige tester av forventninger .................................. 15 Forventning til gjennomsnitt ved kjent varians .............. 15 Forventning til gjennomsnitt ved ukjent varians ............ 16 Differanse mellom forventninger til gjennomsnitt av to forskjellige utvalg med kjente varianser ......................... 16 Differanse mellom forventninger til gjennomsnitt av to forskjellige utvalg med ukjente, men like, varianser ...... 16 Weibullfordeling ................................................................... 7 Differanse mellom forventninger til gjennomsnitt av to forskjellige utvalg med ukjente og ulike varianser ......... 16 7. Funksjoner av stokastiske variable .......................................... 7 Parret T-test ........................................................................ 17 Transformasjon av variable ................................................... 7 Parrede observasjoner ................................................... 17 Momentgenererende funksjon ............................................. 8 Parret t-test .................................................................... 17 Lineærkombinasjoner av normalfordelte variable ................ 8 Når bør man bruke en parret t-test? .............................. 17 Summer av uavhengige normalfordelte variable ............. 8 Teststyrke ............................................................................ 17 Summer av uavhengige kjikvadratfordelte variable ......... 8 Test for p med binomiske data ............................................ 18 Kvadratsummer av uavhengige variable ............................... 8 Ettutvalgs test for p med binomiske data....................... 18 Ordningsvariable ................................................................... 8 Toutvalgs test for forskjell i p med binomiske data ........ 18 8 + 9. Estimering ......................................................................... 8 Test for varians.................................................................... 18 Noen viktige estimatorer ...................................................... 9 11. Enkel lineær regresjon ........................................................ 19 Sentralgrenseteoremet ......................................................... 9 Regresjonsmodellen ............................................................ 19 t-fordelingen ......................................................................... 9 Metoder for å finne estimatorene ...................................... 19 Intervallestimering .............................................................. 10 Minste kvadraters metode ............................................. 19 Konfidensintervall .......................................................... 10 Sannsynlighetsmaksimeringsestimatormetoden ........... 20 Prediksjonsintervall ........................................................ 10 Egenskapene til estimatorene ............................................. 21 Toutvalgs estimering: estimering av forskjellen mellom to middelverdier ................................................................. 11 Konfidensintervall og hypotesetester for πΌ, π½ og π2 .......... 21 Estimat av p i binomialfordelingen...................................... 12 Ett utvalg: estimat av π .................................................. 12 To utvalg: estimat av ππ β ππ ....................................... 12 Ett utvalg: estimat av π .................................................. 13 Prediksjon med regresjonsmodellen ................................... 21 Prediksjon av én verdi .................................................... 21 Prediksjon av gjennomsnittsrespons .............................. 22 Korrelasjon .......................................................................... 22 ET PAR TING SOM KAN BLI NYTTIGE π π ππ₯ (ππ₯ β 1) β« π₯π ππ₯ = π2 π β π₯π (π₯π β π₯Μ ) = β(π₯π β π₯Μ )2 ππ₯ π=1 β« π₯ 2 π ππ₯ ππ₯ π ππ₯ (π2 π₯ 2 β 2ππ₯ + 2) = π3 π=1 βππ=1(π₯π β π₯Μ )π¦π π= π βπ=1(π₯π β π₯Μ )2 π βπ=1(π¦π β π¦Μ )π₯π = π βπ=1(π₯π β π₯Μ )π₯π 1 βππ=1 π¦π π₯π β (βππ=1 π¦π )(βππ=1 π₯π ) π = 1 βππ=1 π₯π2 β (βππ=1 π₯π )2 π π π β² (π₯) ln(π(π₯)) = ππ₯ π(π₯) π§0.025 = 1.96 π π= β(π₯π β π₯Μ ) = 0 π= π=1 π= π= π βπ/π πΜ β π π /βπ (π β 1)π 2 π2 πΜ β π π/βπ 2. SANNSYNLIGHETSREGNING Utfallsrommet S er mengden av alle mulige utfall for et eksperiment. En hendelse H er en delmengde av S. Komplementet til H er mengden av alle elementer i S som ikke er i H. Snittet av to hendelser A og B er mengden av alle elementer i A som også er i B. To hendelser er disjunkte hvis snittet av dem er den tomme mengden. Unionen av to hendelser er de medlemmene av S som er medlemmer av enten A, B, eller begge. nPr er som nCr, men innbyrdes rekkefølge i utvalget har noe å si. Så nPr = r!nCr. Permutasjoner er ordnede utvalg, kombinasjoner er uordnede utvalg. Du kan arrangere n objekter i linje på π! måter, og i sirkel på (π β 1)! måter. En partisjon av et utfallsrom er en mengde π΄1 , π΄2 , β¦ , π΄π slik at π΄1 βͺ π΄2 βͺ β¦ βͺ π΄π = π For å finne sannsynligheten for unionen av flere hendelser: trekk fra likeordens snitt og legg til odde ordens snitt. Så for tre hendelser er π(π΄ βͺ π΅ βͺ πΆ) = π(π΄) + π(π΅) + π(πΆ) β π(π΄ β© π΅) β π(π΄ β© πΆ) β π(π΅ β© πΆ) + π(π΄ β© π΅ β© πΆ). To hendelser A og B er uavhengige hvis og bare hvis π(π΄|π΅) = π(π΄) og π(π΅|π΄) = π(π΅), altså hvis A ikke gir noe ny informasjon om B og vice versa. Vi har regelen om at π(π΄ β© π΅) = π(π΄|π΅)π(π΅). Så vi kan også si at A og B er uavhengige hvis og bare hvis π(π΄ β© π΅) = π(π΄)π(π΅). Mer generelt har vi at π(π΄1 β© β¦ β© π΄π ) = π(π΄1 )π(π΄2 |π΄1 ) β¦ π(π΄π |π΄1 β© β¦ β© π΄πβ1 ) Bayes teorem er π(π΅|π΄) = Oddsen for en hendelse er π(π΄|π΅ )π(π΅) π(π΄) π(π΄) π(π΄β² ) = π(π΄|π΅π )π(π΅π ) = βπ π=1 π( , den siste brukes når B-ene er en partisjon av S. π΄|π΅π )π(π΅π ) π(π΄) 1βπ(π΄) 3. STOKASTISKE VARIABLE OG SANNSYNLIGHETSFORDELINGER. En stokastisk variabel er en funksjon π = π(π ) som knytter reelle tall til hvert enkelttilfelle π i π. π er diskret hvis utfallsrommet har et endelig antall elementer eller like mange elementer som det finnes heltall, og kontinuerlig hvis utfallsrommet har like mange elementer som det finnes reelle tall. π Sannsynligheten π(π β€ π β€ π΅) for at π ligger i intervallet (π, π) er β«π π(π₯)ππ₯ = πΉ(π) β πΉ(π) i det kontinuerlige tilfellet. Sannsynlighetsfunksjonen π(π₯) er altså den deriverte av den kumulative sannsynlighetsfunksjonen πΉ(π₯). I det diskrete tilfellet er sannsynligheten π(π = π₯) for at π har verdien π₯ lik π(π₯). For å være en sannsynlighetsfordeling må π(π₯) alltid være større enn 0 og summere opp til 1 (enten ved å summere over hele definisjonsmengden eller integrere over hele tallinja). Den simultanfordelte sannsynlighetsfordelingen skrives π(π₯, π¦) = π(π = π₯, π = π) i det diskrete tilfellet. I det kontinuerlige tilfellet får man sannsynligheten for at π, π ligger innenfor et område i π 2 ved å integrere funskjonen over området. Marginalfordelingen til kun π er ππ (π₯) er det vi får ved å summere funksjonen over β alle mulige π¦ slik at ππ (π₯) = βπ·π π(π₯, π¦) = β«ββ π(π₯, π¦)ππ¦ i henholdsvis det diskrete og kontinuerlige tilfellet, og vice versa for marginalfordelingen til kun π. Videre har vi at πππ (π₯, π¦) = ππ (π¦|π₯)ππ (π₯). Hvis og bare hvis π og π er uavhengige har vi dermed at πππ (π₯, π¦) = ππ (π¦)ππ (π₯). Dette kan utvides på naturlig vis til simultane sannsynlighetsfordelinger og marginalfordelinger til et vilkårlig antall stokastiske variable. 4. FORVENTNING OG VARIANS β Forventningsverdien til en variabel er π = πΈ(π) = βπ· π₯π(π₯) = β«ββ π₯π(π₯)ππ₯ i henholdsvis det diskrete og det kontinuerlige tilfellet. π· er definisjonsmengden til π. β Forventningsverdien til en variabel π(π) er ππ (π) = πΈ[π(π)] = βπ· π(π₯)π(π₯) = β«ββ π(π₯)π(π₯)ππ₯ Forventningsverdien til en variabel π(π, π) er ππ (π, π) = πΈ[π(π, π)] = βπ·π βπ·π π(π₯, π¦)π(π₯, π¦) = β β β«ββ β«ββ π(π₯, π¦)π(π₯, π¦)ππ¦ ππ₯ Hvis to variable er uavhengige er πΈ(ππ) = πΈ(π)πΈ(π). Forventningsverdien til en lineærkombinasjon er den tilsvarende lineærkombinasjonen av forventningsverdier. Variansen til en variabel er β πππ(π) = π 2 = πΈ[(π β π)2 ] = β(π₯ β π)2 π(π₯) = β« (π₯ β π)2 π(π₯)ππ₯ = πΈ(π 2 ) β πΈ(π)2 ββ π· Det blir helt tilsvarende når man skal finne variansen til en funksjon av en variabel. 2 Variansen til ππ + π er πππ+π = π2 ππ2 = π2 π 2. Kovariansen til to variabler X og Y er πΆππ£(π, π) = πππ = πΈ[(π β ππ )(π β ππ )] β = β β(π₯ β ππ )(π¦ β ππ¦ )π(π₯, π¦) = β« (π₯ β ππ )(π¦ β ππ¦ )π(π₯, π¦) ππ₯ ββ π·π π·π = πΈ(ππ) β πΈ(π)πΈ(π) Og er et mål på assosiasjonen mellom de to. Hvis to variable ikke er korrelerte, vil kovariansen deres være 0. Men to variable kan fint være korrellerte selv om kovariansen er 0. Variansen til en variabel er πππ(π) = πΆππ£(π, π). 2 Variansen til en sum av to variable er πππ+ππ = π2 ππ2 + π 2 ππ2 + 2πππππ . Hvis de to er uavhengige, blir variansen til summen summen av variansene. Standardavviket til en variabel er kvadratroten av variansen. 5. DISKRETE FORDELINGER DISKRET UNIFORM FORDELING Bruk: Når det er like stor sannsynlighet for hvert utfall i utfallsrommet. 1 Fordelingsfunksjon: π(π₯) = der k er antall mulige utfall. π 1 Forventning: π = βππ=1 π₯π , men denne forekommer ikke noe oftere enn noen av de andre verdiene. Varians: π 2 = π 1 π βπ=1(π₯π π 2 β π) BINOMISK FORDELING Bruk: Når vi har en Bernoulli-prosess med n forsøk. Kjennetegnes av 3 krav: - Vi gjør π uavhengige forsøk I hvert forsøk registrerer vi om hendelsen A inntreffer eller ikke Sannsynligheten for A er den samme i alle forsøkene, og π(π΄) = π. π Fordelingsfunksjon: π(π₯) = ( ) π π₯ (1 β π)πβπ₯ = alle rekkefølgene dette kan inntreffe i ganger sannsynligheten π₯ for at det inntreffer x ganger ganger sannsynligheten for at det ikke inntreffer n-x ganger. Kumulativ fordeling: Side 12 til 17 i heftet. Forventning: πΈ(π) = ππ Varians: πππ(π) = ππ(1 β π) Disse utledes fra at hvert forsøk representeres av en Bernoullifordelt variabel (som har verdi 0 med sannsynlighet (1-p) og verdi 1 med sannsynlighet p), slik at den binomisk fordelte variabelen blir en sum av Bernoullifordelte variable. MULTINOMISK FORDELIN G Bruk: Når vi bytter ut andre krav i binomisk fordeling med at vi har k mulige utfall, hver med sannsynlighet π1 , β¦ , ππ . Fordelingsfunksjon: π(π₯1 , β¦ , π₯π ; π1 , β¦ , ππ ; π) = π! π₯ π 1 π₯1 !β¦π₯π ! 1 π₯ β¦ ππ π Forventning: πΈ(ππ ) = πππ Varians: πππ(ππ ) = πππ (1 β ππ )s Sammenheng med andre fordelinger: Når k=2 er π1 binomisk fordelt. HYPERGEOMETRISK FORD ELING Bruk: Vi trekker n lodd fra en urne med N lodd, hvorav k er vinnerlodd. Antall vinnerlodd er hypergeometrisk fordelt. Fordelingsfunksjon: π(π₯) = π πβπ ( )( ) π₯ πβπ₯ , π ( ) π der x går fra 0 til den minste av n og k. Kumulativ fordeling: Side 21-22 i heftet. Forventning: πΈ(π) = ππ π π Varians: πππ(π) = (πβπ)ππ(1β ) π (πβ1)π Sammenheng med andre fordelinger: Binomisk fordeling er når vi trekker lodd med tilbakelegging, hypergeometrisk er når vi trekker lodd uten tilbakelegging. Når π β« π kan vi approksimere en π hypergeometrisk fordeling med en binomisk fordeling der π = , fordi π β π β π. π NEGATIV BINOMISK FORDELING Bruk: Vi har en Bernoulliprosess, men nå spør vi om sannsynligheten for at hendelse A inntreffer for kβte gang på vårt xβte forsøk. π₯β1 π Fordelingsfunksjon: π(π₯) = ( ) π (1 β π) π₯βπ , der x går fra k og oppover. πβ1 Kumulativ fordeling: Står ikke i heftet. En negativ binomisk fordeling med k = 1 kalles en geometrisk fordeling. POISSONFORDELING Bruk: Vi har en Poissonprosess med følgende karakteristikk: - Prosessen har intet minne: antall hendelser i et interall er uavhengig av antallet hendelser som forekommer i ethvert annet disjunkt intervall. Sannsynligheten for at et enkelt utfall forekommer i løpet av et veldig kort intervall er proporsjonalt med lengden av intervallet og avhenger ikke av antallet utfall utenfor dette intervallet. Sannsynligheten for at mer enn ett utfall forekommer i løpet av et slikt kort intervall er neglisjerbar. Da er antallet hendelser i løpet av et eksperiment en Poissonvariabel og er Poissonfordelt. Fordelingsfunksjon: π(π₯) = π βππ‘ (ππ‘)π₯ π₯! = π βπ π π₯ π₯! fordi πΈ(π) = πππ(π) = ππ‘ Sammenheng med andre fordelinger: Vi kan tilnærme binomialfordelingen til en Poissonfordeling når n blir stor, da er π = ππ. 6. KONTINUERLIGE SANNSYNLIGHETSFORDELINGER UNIFORM KONTINUERLIG FORDELING 1 π(π₯) = {π΅βπ΄ πåπ π΄ β€ π₯ β€ π΅ 0 ππππππ ,π = π΄+π΅ 2 og π 2 = (π΅βπ΄)2 12 . Vi bruker ikke denne så mye. NORMALFORDELING Dette er den viktigste sannsynlighetsfordelingen som finnes og brukes til nesten alt på grunn av sentralgrenseteoremet. Fordelingsfunksjon π(π₯) = 1 β2ππ exp (β 1 (π₯ β π)2 ) , ββ < π₯ < β 2 π2 Egenskaper - Kurven er symmetrisk om π₯ = π Fordelingen har sitt typetall ved forventningsverdien Kurvens vendepunkter er ved π₯ = π ± π Normalfordelte variable kan transformeres til den standard normalfordelte variablen π med π = 0, π 2 = 1 ved å la π = πβπ π β π = ππ + π. Verdiene til π står på s. 1 og 2, og kvantilene står på s. 3. Vi skriver π(π β€ π§) som Ξ¦(π§). Phi-funksjonen har egenskapen Ξ¦(βπ₯) = 1 β Ξ¦(π₯). En lineærkombinasjon normalfordelte variable er en ny normalfordelt variabel. Dette er et resultat brukes ekstremt ofte. Approksimasjon av binomialfunksjonen Når π er en binomisk fordelt variabel med π = ππ og π = ππ(1 β π), vil π β β gjøre at fordelingen av π β ππ π= βππ(1 β π) går mot standardnormalfordelingen. Dette fungerer veldig bra når n er stor og p ikke er veldig nærme 1 eller 0, men også ganske bra når n er liten og p ligger rundt ½. GAMMAFORDELINGEN Gammafunksjonen er definert som β Ξ(πΌ) = β« π₯ πΌβ1 π βπ₯ ππ₯ , πΌ > 0 0 1 For heltallige n er Ξ(π) = (π β 1)! Forøvrig er Ξ ( ) = βπ. 2 Gammafordelingen er gitt ved π(π₯) = π₯ 1 πΌβ1 βπ½ π₯ π π½ π Ξ(π) og har πΈ(π) = πΌπ½ og πππ(π) = πΌπ½ 2 . Når πΌ = 1 får vi eksponensialfordelingen: π(π₯) = 1 βπ₯ π π½ = ππ βππ₯ π½ 1 der π = . Denne har πΈ(π) = π½ og πππ(π) = π½ 2 . π½ Eksponensialfordelingen her beslektet med Poissonfordelingen på omtrent samme måte som den geometriske fodelingen er beslektet med den binomiske fordelingen. For en Poissonfordelt variabel har vi at π(0; ππ₯) = π βππ₯ . La π være tiden det tar før den første Poissonhendelsen. Sannsynligheten for at X er større enn x er den samme som sannsynligheten for at ingen Poissonhendelser skjer innen x, så π(π > π₯) = π βππ₯ . Da er den kumulative fordelingsfunksjonen for π gitt ved π(0 β€ π β€ π₯) = 1 β π βππ₯ . Vi deriverer med hensyn på x og får at fordelingsfunksjonen til x er eksponensialfunksjonen, π(π₯) = ππ βππ₯ . Her er også π½ den gjennomsnittlige tiden mellom hendelser. Når πΌ er et annet heltall beskriver gammafunksjonen forventet tid før πΌβte hendelse i en Poissonprosess, så på denne måten er gammafordelingen beslektet med Poissonfordelingen på omtrent samme måte som den negative binomiske fordelingen er beslektet med den binomiske fordelingen. Når πΌ = Ξ½/2 og π½ = 2 får vi kjikvadratfordelingen: π(π₯) = 1 π₯ π/2β1 π βπ₯/2 2π/2 Ξ(π/2) Denne har πΈ(π) = π og πππ(π) = 2π. π er antall frihetsgrader. LOGNORMALFORDELINGEN En variabel er lognormaltfordelt hvis variabelen π = ln(π₯) er normalfordelt. Dette gir fordelingen π(π₯) = 1 β2πππ₯ exp (β 1 [ln(π₯) β π]2 ) 2π 2 for x > 0. 1 2 2 2 Fordelingen har πΈ(π) = eπ+2π og πππ(π) = e2ΞΌ+Ο (π π β 1) WEIBULLFORDELING Weibullfordelingen brukes gjerne for levetiden til komponenter når man tar hensyn til slitasje og eventuelt herding (i motsetning til den «hukommelsesløse» eksponensialfordelingen). Fordelingen for π₯, πΌ, π½ > 0, er π(π₯; πΌ, π½) = πΌπ½π₯ π½β1 π πΌπ₯ πΉ(π₯; πΌ, π½) = 1 β π βπΌπ₯ π½ π½ Når π½ = 1 får vi eksponensialfordelingen. For komponenter med Weibullfordelt levetid kan man utlede en sviktrate. Hvis π π (π‘) = π(π > π‘) er β sannsynligheten for at en komponent ikke svikter i løpet av tiden π‘, er π π (π‘) = β«π‘ π(π‘)ππ‘ = 1 β πΉ(π‘). Sannsynligheten for at en komponent svikter i intervallet (π‘, π‘ + Ξπ‘) gitt at den overlevde til π‘ er πΉ(π‘+Ξπ‘)βπΉ(π‘) π π (π‘) . Hvis vi deler på endringen i tid og lar den gå mot 0, får vi sviktraten πΉ(π‘ + Ξπ‘) β πΉ(π‘) π(π‘) π(π‘) = = = πΌπ½π‘ π½β1 Ξπ‘β0 Ξπ‘π π (π‘) π π (π‘) 1 β πΉ(π‘) π(π‘) = lim Hvis π½ = 1 får vi eksponensialfordelingen med en konstant sviktrate. Hvis π½ > 1 er π(π‘) en økende funksjon som indikerer på at komponenten slites over tid, og hvis π½ < 1 er π(π‘) en minkende funksjon som indikerer at komponenten herdes over tid. Fordelingen har πΈ(π) = πΌ 1 π½ β 1 Ξ (1 + ) og πππ(π) = πΌ π½ 2 π½ β 2 2 1 π½ π½ (Ξ (1 + ) β (Ξ (1 + )) ). 7. FUNKSJONER AV STOKASTISKE VARIABLE TRANSFORMASJON AV VA RIABLE La π = π’(π) være en en-til-en-transformasjon av en diskret X, og π = π€(π) = π’β1 (π) = π’β1 π’(π). Sannsynlighetstettheten til Y blir da π(π¦) = π(π€(π¦)). Når X er kontinuerlig blir π(π¦) = π(π€(π¦))π€β²(π¦), eller π(π¦) = π(π€(π¦))|π½|, der π½ er Jacobideterminanten, når vi har funksjoner av flere variable. Det finnes også en annen metode for å regne seg frem til π(π¦): løs π’(π) < π, finn πΊ(π) = π(π β€ π¦) ved å integrere over de x som løser ulikheten og la π(π¦) = πΊ β² (π). På grunn av produktregelen for derivasjon ender vi opp med det samme uttrykket som før. Når π’(π) ikke er en-til-en lager man seg et sett en-til-en-funksjoner og summerer opp løsningene. For eksempel, når π’(π) = π 2 summerer vi opp løsningene for π = βπ og π = ββπ. MOMENTGENERERENDE FUNKSJON β Den momentgenererende funksjonen til X er πΈ(π π‘π ) = βπ₯ π π‘π₯ π(π₯) = β«ββ π π‘π₯ π(π₯)ππ₯ . (π) Vi har at πΈ[π π ] = ππ (0), altså at forventningsverdien til π π er den kβte deriverte av den (π) momentgenererende funksjonen til π evaluert i x = 0. ππ (0) kalles π sitt kβte moment. Det første momentet er forventningsverdien og det andre momentet opptrer i uttrykket for varians, πππ(π) = ππβ² (0) β ππ (0)2 . Det tredje momentet er et mål på hvor skjev fordelingen er og det fjerde momentet er et mål på hvor tykk eller tynn fordelingen er β det er ikke pensum, men det er jo artig da Den momentgenererende funksjonen er unik, det vil si at ππ (π‘) = ππ (π‘) β ππ (π₯) = ππ (π¦), så vi kan bruke den momentgenererende funksjonen til å finne fordelingen til stokastiske variable. Hvis vi finner den momentgenererende funksjonen til en stokastisk variabel, og finner at den er den samme som den momentgenererende funksjonen til en stokastisk variabel med kjent fordeling, har de to variablene den samme fordelingen. Veldig mange teoremer i pensum utledes med momentgenererende funksjoner. Videre har vi at - ππ+π (π‘) = π ππ‘ ππ (π‘) πππ (π‘) = ππ (ππ‘) ππ1+β―+ππ (π‘) = ππ1 (π‘) β¦ πππ (π‘) - når π₯ < 0 β π(π₯) = 0 er ππ (βπ‘) Laplacetransformen til π(π₯). LINEÆRKOMBINASJONER AV N ORMALFORDELTE VARIABLE SUMMER AV UAVHENGIGE NORMALFORDELTE VARIAB LE Når π1 , β¦ , ππ er uavhengige normalfordelte variable med forventningsverdier π1 , β¦ , ππ og varianser π12 , β¦ , ππ2 vil π = βππ=1 ππ ππ ha en normalfordeling med ππ = βππ=1 ππ ππ og ππ2 = βππ=1 ππ2 ππ2 , som kan vises med momentgenererende funksjoner. SUMMER AV UAVHENGIGE KJIKVADRATFORDELTE VARIABLE Når π1 , β¦ , ππ er uavhengige kjikvadratfordelte variable med forventningsverdier π1 , β¦ , ππ frihetsgrader vil π = βππ=1 ππ ππ ha en kjikvadratfordeling med βππ=1 π£π frihetsgrader. KVADRATSUMMER AV UAVHENGIGE VARIABLE Når π1 , β¦ , ππ er uavhengige normalfordelte variable med forventningsverdier π1 , β¦ , ππ og varianser π12 , β¦ , ππ2 vil π = βππ=1 ( ππ βππ 2 ππ ) være kjikvadratfordelt med π = π frihetsgrader. Hvis de har samme forventningsverdi π og samme varians π 2 , forenkles dette til at π = βππ=1 ( ππ βπ 2 π ) er kjikvadratfordelt med π = π frihetsgrader. ORDNINGSVARIABLE Se eget notat om ordningsvariable her. 8 + 9. ESTIMERING En populasjon inneholder alle observasjoner det er mulig å gjøre om en mengde. Et utvalg er en delmengde av disse observasjonene. Hvis π1 , β¦ , ππ er π uavhengige stokastiske variable som alle har den samme fordelingsfunksjonen π(π₯) kan vi definere π1 , β¦ , ππ som et tilfeldig utvalg med størrelse π fra populasjonen π(π₯), og den simultane sannsynlighetsfordelingen til det tilfeldige utvalget er π(π) = π(π₯1 , β¦ , π₯π ) = π(π₯1 ) β¦ π(π₯π ). π(π₯) vil også være bestemt av visse parametere som vi enten må kjenne på teoretisk grunnlag eller estimere basert på utvalget. En observator, på engelsk a statistic, er en funksjon av det tilfeldige utvalget, og en observator som gir et estimat for en bestemt parameter kalles en estimator. Verdiene til estimatorene våre blir estimatene. En god estimator er forventningsrett og effektiv. En observator πΜ er en forventningsrett estimator for π når πΈ(πΜ) = π. Den mest effektive estimatoren for π er den som har minst varians. NOEN VIKTIGE ESTIMAT ORER 2 1 π Det empiriske snittet πΜ = βππ=1 π₯π er en forventningsrett estimator for π. Den har varians . Den empiriske π variansen π 2 = 1 πβ1 π βππ=1(ππ β πΜ )2 er en forventningsrett estimator for π. Den empiriske variansen har et annet uttrykk som kan være nyttig, nemlig π 2 = 1 π(πβ1) [π βππ=1 ππ2 β (βππ=1 ππ )2 ], som vi finner ved å gange ut kvadratuttrykket. Det empiriske standardavviket π er kvadratroten av den empiriske variansen. πΜ og π 2 er uavhengige (det kan vises at πΆππ£(πΜ , π 2 ) = 0). Observatoren π = πΜ βπ er standard normalfordelt. Hvis hver ππ ikke er normalfordelt, vil π fortsatt være π/βπ standardnormalfordelt dersom n er stor nok (typisk ca. 30) på grunn av sengralgrenseteoremet. Observatoren π = πβ1 π2 π 2 er kjikvadratfordelt med π = π β 1 frihetsgrader. Vi kan tenke oss at vi mister en frihetsgrad ved å ha estimert π med πΜ i estimatoren av π 2 . SENTRALGRENSETEOREME T Hvis πΜ er det empiriske snittet til et tilfeldig utvalg med størrelse π tatt fra en populasjon med forventningsverdi π og varians π 2 vil lim πΜ βπ πββ π/βπ være standard normalfordeling. T-FORDELINGEN Når π er ukjent, og π ikke er spesielt stor (typ lavere enn 30), må vi bruke t-fordelingen. For å utlede fordelingen til π = πΜ βπ π/βπ skriver vi π= πΜ β π π\βπ βπ 2/π 2 = π 2 β(π β 1)π /π πβ1 2 = π β π πβ1 Fordelingsfunksjonen til en slik variabel er en t-fordeling med n-1 frihetsgrader og står som tabell på side 4. Den eksakte fordelingsfunksjonen er π+1 Ξ½+1 2 β 2 ) π‘ 2 (1 + ) π Ξ(π/2)βππ Ξ( Så når vi har uavhengige variabler π1 , β¦ , ππ som alle er normalfordelte med snitt π og standardavvik π, og 1 lar πΜ = βππ=1 ππ , π 2 = π 1 πβ1 β2π=1(ππ β πΜ )2 , vil π = πΜ βπ π/βπ være t-fordelt med π = π β 1 frihetsgrader. Når π£ β β går t-fordelingen mot en normalfordeling. Lavere π vil gi en kurve med tykkere haler, altså større varians. INTERVALLESTIMERING KONFIDENSINTERVALL Et (π β πΆ)-konfidensintervall er et intervall (πΜπΏ , πΜπ ) der πΜπΏ , πΜπ er funksjoner av π1 , β¦ , ππ slik at π(πΜπΏ < π < πΜπ ) = 1 β πΌ. Den grafiske tolkningen av slike konfidensintervaller blir at arealet under grafen til sannsynlighetsfordelingsfunksjonen i intervallet vårt er 1 β πΌ. πΌ kalles intervallets signifikansnivå. Vi konstruerer disse funksjonene ved å begynne med en observator som knytter parameteren vi skal estimere til en sannsynlighetsfordeling. Disse observatorene er typisk π, π eller π, og vi kaller disse pivotale størrelser fordi fordelingen deres ikke avhenger av ukjente parametre. Så sette vi opp en av disse dobbeltulikhetene med fordelingens kvantiler, som står i tabellverket. Man begynner med å sette inn de kjente uttrykkene for hver variabel, og så regne om til ulikheten sentreres om parameteren man lurer på. For normalfordelingen gjelder π(βπ§πΌ/2 < π < π§πΌ/2 ) = 1 β πΌ Kvantilene står på s. 3. Denne kan vi bruke når vi kjenner variansen og skal estimere π med π₯Μ , eller hvis vi skal finne minste π slik at sannsynligheten for at estimatfeilen med sannsynlighet 1 β πΌ ikke overskrider en viss feilstørrelse π. Omregning gir oss at |π| < π§πΌ/2 π/βπ med sannsynlighet 1 β πΌ og at vi krever en π β₯ ( π§πΌ/2 π 2 π ) for at feilen med sannsynnlighet 1 β πΌ ikke overskrider π. Vi runder opp til nærmeste heltall for å være sikre. Siden normalfordelingen er symmetrisk er det relativt enkelt å lage et ensidig konfidensinterall, som er nyttigere når vi trenger et estimate for det verdien «i verste tilfelle» kan være: π(π < π§πΌ ) = 1 β πΌ For t-fordelingen gjelder π(βπ‘πΌ/2,π < π < π‘πΌ/2,π ) = 1 β πΌ Kvantilene står på s. 4. Denne bruker vi når vi vil utlede konfidensintervaller der vi ikke kjenner π. Ensidig intervall kan gjøres på akkurat samme måte som for normalfordelingen. For π 2 -fordelingen gjelder 2 π(π1βπΌ/2,π < π < π 2πΌ/2,π ) = 1 β πΌ Kvantilene står på s. 5. Denne brukes når vi skal estimere π. Legg merke til at kvantilene i kjikvadratfordelingen er forskjellig fra kvantilene i t-fordelingen og normalfordelingen fordi den ikke er symmetrisk. PREDIKSJONSINTERVALL Når vi ønsker å forutse verdien til en ny fremtidig måling π₯0 av den stokastiske variabelen π, lager vi et prediksjonsintervall som tar hensyn til både variansen i målingen π₯0 og variansen til forventningsverdien til π₯0 , siden denne forventningsverdien må estimeres med π₯Μ . π₯0 vil falle innenfor intervallets grenser med sannsynlighet 1 β πΌ. For å konstruere intervallet tar vi utgangspunkt i egenskapene til observatoren π β πΜ : πΈ(π β πΜ ) = πΈ(π) β πΈ(πΜ ) = π β π = 0 πππ(π β πΜ ) = πππ(π) + πππ(πΜ ) = π 2 + π2 1 = π 2 (1 + ) π π Siden π og πΜ er normalfordelte vil også π β πΜ være normalfordelte. Ut i fra dette får vi den standard normalfordelte observatoren π= π β πΜ πβ1 + 1 π hvor vi har satt inn oppdaterte verdier i det vanlige uttrykket for π. Når vi ikke kjenner π bytter vi ut denne med π og får en helt tilsvarende π-observator. Disse observatorene brukes til å lage prediksjonsintervall på samme måte som man lagde konfidensintervall. Resultatene av en vitenskapelig undersøkelse er gjerne svært sensitiv for «dårlig» data med verdier som ligger langt unna snittet. En outlier («vill observasjon» på norsk, ikke uteligger) er en observasjon som faller utenfor prediksjonsintervallet man regner ut ved å bruke alle andre verdier enn observasjonen det er snakk om. TOUTVALGS ESTIMERING : ESTIMERING AV FORS KJELLEN MELLOM TO MIDDELVERDIER KJENTE VARIANSER Vi har to populasjoner π1 , β¦ , ππ og π1 , β¦ , ππ med størrelser π og π, middelverdier ππ og ππ og varianser ππ2 og ππ2 . Et punktestimat for forskjellen ππ β ππ mellom middelverdiene til to forskjellige populasjoner er πΜ β πΜ , som er normalfordelt med forventningsverdi ππ β ππ og varians π= 2 ππ π + ππ2 π . Vi har derfor at (πΜ β πΜ ) β (ππ β ππ ) 2 2 βππ + ππ π π Fra dette uttrykket utledes konfidensintervall for ππ β ππ . UKJENTE VARIANSER Hvis vi ikke kjenner til ππ2 og ππ2 , men antar at ππ2 = ππ2 = π 2 (som vi ofte gjør i virkelige eksperimenter hvor vi for eksempel tester en populasjon mot en kontrollpopulasjon), kan vi fortsatt lage konfidensintervaller med litt arbeid. - 2 (πβ1)ππ π2 og (πβ1)ππ2 π2 er kjikvadratfordelte med henholdsvis π β 1 og π β 1 frihetsgrader summen av to kjikvadratfordelte variabler er kjikvadratfordelt med summen av frihetsgradene, så π = 2 (πβ1)ππ +(πβ1)ππ2 π er kjikvadratfordelt med π = π + π β 2 frihetsgrader (πΜ βπΜ )β(ππ βππ ) π= - Hvis vi lar ππ2 «S pooled» være en estimator for π, der ππ2 = til π = 1 1 π2[ + ] π π /β 2 +(πβ1)π 2 (πβ1)ππ π - π 2 (π+πβ2) er t-fordelt med π = π + π β 2 frihetsgrader 2 (πβ1)ππ +(πβ1)ππ2 π+πβ2 , forenkles uttrykket for π (πΜ βπΜ )β(ππ βππ ) 1 1 π π . ππ β + - Fra dette utledes et konfidensintervall for ππ β ππ . Det viktigste å ta med seg fra dette er uttrykket for ππ2 , som er et vektet gjennomsnitt av ππ og ππ , og det endelige uttrykket for π. Når ππ2 β ππ2 trenger vi en t-fordeling med π = 2 (ππ /π+ππ2 /π) 2 2 2 2 2 (π /π) (π /π) [ π ]+[ π ] πβ1 frihetsgrader. Uttrykket for π er et πβ1 2 spesialtilfelle av Welch-Satterthwaites formel, 2 (βπ π=1 ππ /ππ ) 2 (π2 π /ππ ) βπ π=1 π β1 π , her med π = 2. π er sjelden et heltall, så det rundes ned til nærmeste heltall. Siden π nå er estimert, får vi her et estimert konfidensintervall, så vi må bytte ut = med β i uttrykket for konfidensintervallet. Som regel, men ikke alltid, får vi et kortere (mer presist) konfidensintervall ved færre antagelser (f.eks å ikke anta at ππ2 = ππ2 ). ESTIMAT AV P I BINOMIALFORDELINGE N ETT UTVALG: ESTIMAT AV π π Hvis π er antall suksesser i en binomisk forsøksrekke vil πΜ = være en naturlig estimator av π. Vi finner π verdien π₯ til π og bruker πΜ = π₯/π til å estimere π. Når π forventes å ikke være ekstremt nær 0 eller 1 kan vi via sentralteoremet bruke at, for tilstrekkelig store π, er πΜ tilnærmet normalfordelt med π ππ ππΜ = πΈ(πΜ ) = πΈ ( ) = =π π π ππ2Μ = ππ2 = π ππ2 ππ(1 β π) π(1 β π) = = π2 π2 π Dette gir oss en ny standardfordelt observator og et nytt konfidensintervall (for enten π eller minste akseptable verdi til π) der π= πΜ β π βπ(1 β π) π Det er vanskelig (men mulig) å finne et eksakt uttrykk for π, så hvis π er stor nok bytter man ut π med πΜ = π₯/π i rotuttrykket. For å være sikker, kreves det at både ππΜ > 5 og π(1 β πΜ ) > 5, ellers kan man ikke stole på denne metoden. Metoden kan også brukes når en binomisk fordeling brukes til å approksimere en hypergeometrisk fordeling, dvs. når π β« π. TO UTVALG: ESTIMAT AV ππ β ππ Vi ser på to utvalg med størrelse π og π, middelverdier πππ og πππ og varianser πππ (1 β ππ ) og πππ (1 β ππ ). Vi finner antall suksesser i hvert tilfelle, altså π₯ og π¦, og lager estimatorene πΜπ = π₯/π og πΜπ = π¦/π for ππ og ππ . Fra dette får vi en estimator πΜπ β πΜπ for ππ β ππ . Et standard resonnement gir oss π= (πΜπ β πΜπ ) β (ππ β ππ ) βππ (1 β ππ ) + ππ (1 β ππ ) π π Hvis ππΜ > 5, π(1 β πΜ ) > 5, ππΜ > 5 og π(1 β πΜ ) > 5 gjør vi som før og bytter ut ππ med πΜπ , og ππ med πΜπ . ETT UTVALG: ESTIMAT AV π Vi ser på et utvalg med størrelse π fra en normalfordelt populasjon med varians π 2 og regner ut utvalgsvariansen π 2 , som er verdien til estimatoren π 2 av π 2 . For å lage et konfidensintervall bruker vi at π = (πβ1)π 2 π2 2 er π 2 -fordelt med π = π β 1 frihetsgrader og bruker vanlig metode for å utlede konfidensintervallene til π -fordelte variable. TO UTVALG: ESTIMAT AV ππ2 /ππ2 Dette er ganske slitsomt, og ikke pensum. SANNSYNLIGHETSMAKSIMERIN GSESTIMATORER I situasjoner der det ikke er intuitivt hva slags estimator vi bør velge, gir sannsynlighetsmaksimeringsestimeringsprinsippet en systematisk metode for å finne estimatorer. Denne går ut på å finne parameterverdien som maksimerer sannsynligheten for å observere det vi har observert. Metoden tar litt tid å forstå, men er veldig enkel å bruke. En estimator for π som utledes med denne metoden kalles sannsynlighetsmaksimeringsestimatoren til π. På engelsk kalles metoden maximum likelihood estimation, som gjør det tydelig at man ikke kan bruke likelihood og probability om hverandre uten å være forsiktig β på norsk kunne man kanskje brukt «rimelighet». Når en student π er lei av å snakke om lengden av ordene som brukes i dette temaet, kalles π en sannsynlighetsmaksimeringsestimeringsprinsippfagbegrepnavngivningstilbakemeldinggivningslei student. LIKELIHOODFUNKSJONEN Hvis πΏ = π1 , β¦ , ππ er et tilfeldig utvalg som vi vil bruke til å estimere en parameter π, kan vi definere likelihoodfunksjonen πΏ(π; π) = π(π1 = π₯1 , β¦ , ππ = π₯π |π) = ππ1,β¦,ππ (π; π) for henholdsvis det diskrete og det kontinuerlige tilfellet. Siden vi som regel gjør π uavhengige observasjoner forenkles uttrykket til det mer brukbare π π πΏ(π; π) = π(π1 = π₯1 ) β¦ π(ππ = π₯π ) = β π(ππ = π₯π ) = π(π₯1 ; π) β¦ π(π₯π ; π) = β π(π₯π ; π) π=1 π=1 π-notasjonen kan naturligvis bare brukes i det diskrete tilfellet siden man i det kontinuerlige tilfellet har at π₯ π(π = π₯) = π(π₯ β€ π β€ π₯) = β«π₯ π(π₯)ππ₯ = 0. Vi ønsker å finne verdien πΜ for π som maksimerer πΏ(π; π), eller mer formelt πΜ: βπ (πΏ(π; πΜ) β₯ πΏ(π; π)), eller mindre formelt toppunktet til πΏ. Noen ganger er det åpenbart hva πΜ må være, andre ganger kan vi bruke den vanlige metoden for å finne toppunkter, altså å finne πΜ slik at at π2 ππ2 π ππ Μ ) = 0. Det kan hende vi også må sjekke πΏ(π; π πΏ(π; π) < 0 siden vi sjelden er interessert i å finne sannsynlighetsminimeringsestimatoren til π. Det er praktisk talt alltid lettere å finne maksimum til ln(πΏ) fordi vi da opererer med en sum i stedet for et produkt: π π ln(πΏ(π; π)) = ln (β π(π₯π |π)) = β ln(π(π₯π |π)) π=1 π=1 Siden ln() er en strengt voksende funksjon vil ln(πΏ) og πΏ ha samme maksimum. INVARIANSEGENSKAPEN TIL SANNSYNLIGHETSMA KSIMERINGSESTIMATORE N Hvis πΜ er en sannsynlighetsmaksimeringsestimator til π er πΜ = π(πΜ ) en sannsynlighetsmaksimeringsestimator til π = π(π). Derfor kan ofte man bruke kjente sannsynlighetsmaksimeringsestimatorer til å regne ut nye sannsynlighetsmaksimeringsestimatorer. FORVENTNING OG VARIANS TIL SANNSYNLIGHETSMAKSIMERINGSESTIMATOREN Sannsynlighetsmaksimeringsestimatoren er ikke nødvendigvis forventningsrett, og den er heller ikke nødvendigvis den mest effektive estimatoren. For eksempel er sannsynlighetsmaksimeringsestimatoren til π 1 gitt ved πΜ = βππ=1(π β πΜ )2 , som ikke er forventningsrett. Den går riktignok mot å være forventningsrett og π blir tilstrekkelig effektiv når π går mot β. Dessuten kan det hende at det er lett å finne en forventningsrett estimator når man har funnet sannsynlighetsmaksimeringsestimatoren. I tilfellet med π kan vi for eksempel πβ1 π 1 βππ=1(π β πΜ )2 slik at bruke at πΈ(πΜ) = π til å lage den forventningsrette estimatoren π = πΜ = πΈ(π) = π πβ1 πΜ = π π πβ1 πβ1 π πβ1 πβ1 π = π. 10. HYPOTESETESTING En statistisk hypotese er en påstand om en eller flere populasjoner. Når vi tester en hypotese, undersøker vi om påstanden er tilstrekkelig sannsynlig. For å teste en hypotese, finner man først nullhypotesen π»0 , som er hypotesen vi ønsker å utfordre, gjerne hypotesen man på forhånd antar β «status quo». Så setter man opp den alternative hypotesen π»1 slik at å forkaste π»0 er ekvivalent med å akseptere π»1 . Konklusjonen av en hypotesetest er nødvendigvis en av de to følgende: - Vi forkaster π»0 til fordel for π»1 fordi det finnes tilstrekkelig grunnlag for dette i observasjonene våre Vi mislykkes i å forkaste π»0 fordi det ikke finnes tilstrekkelig grunnlag i observasjonene våre Testen gjøres ved å velge et signifikansnivå πΌ, definere en testobservator π = π(π) (der π er datasettet vårt), og dele opp verdiområdet til π i et forkastningsområde πΆ og et akseptområde π΄ slik at testresultatet med sannsynlighet 1 β πΌ havner i π΄ dersom π»0 er riktig. Hvis testresultatet havner i πΆ forkaster vi π»0 til fordel for π»1 . Hvis testresultatet havner i πΆ selv om π»0 er sann vil vi feilaktig forkaste π»0 . Dette er en type I-feil. Sannsynligheten for å begå type I-feil er πΌ. Hvis testresultatet havner i π΄ selv om π»0 er usann vil vi feilaktig mislykkes i å forkaste π»0 . Dette er en type II-feil. Sannsynligheten for å type II-feil kalles π½, som varierer med hvor langt π»0 er unna virkeligheten og først kan regnes ut når man har en spesifikk alternativ hypotese. πΌ og π½ er negativt korrelerte, så når den ene er stor er den andre liten og omvendt. Vi kan gjøre sannsynligheten for å begå type I feil så liten vi vil ved å velge en liten nok πΌ, men sannsynligheten for å begå type II-feil øker med πΌ. Derfor må man gjøre en subjektiv vurdering og bestemme seg for hvilken type feil man helst vil unngå når man velger πΌ. Sannsynligheten for å begå både type I-feil og type II-feil synker med økende utvalgsstørrelse. En p-verdi er det laveste signifikansnivået vi kan velge hvor den observerte verdien til testobservatoren gjør at vi må forkaste π»0 . Resultater oppgis gjerne som en ulikhet der p-verdien inngår, f.eks at π > 0.05. Det er ofte interessant å finne p-verdien fordi det gir et mer nyansert beslutningsgrunnlag enn ja/nei-svaret fra hypotesetesten. For eksempel vil en p-verdi på 6% gjøre at vi ikke forkaster nullhypotesen dersom vi har en hypotesetest med signifikansnivå på 5%, men det kan godt hende vi likevel gjør en beslutning basert på at nullhypotesen ikke forkastes. Styrken til en test er sannsynligheten for å forkaste π»0 dersom en spesifikk alternativ hypotese er sann, og har verdien πΎ = 1 β π½. ENSIDIG OG TOSIDIG TEST En test der πΆ er ett sammenhengende område kalles en ensidig test, og er på formen π»0 : π = π0 π»1 : π > π0 der forkastningsområdet ligger i den høyre halen til fordelingsfunksjonen til π, eller π»0 : π = π0 π»1 : π < π0 der forkastningsområdet ligger i den venstre halen til fordelingsfunksjonen til π. En test der C deles opp i to områder kalles en tosidig test, og er på formen π»0 : π = π0 π»1 : π β π0 der forkastningsområdet gjerne har like stor sannsynlighetsmasse plassert i hver hale av fordelingsfunksjonen til π. Man velger gjerne π»0 ved å velge den som kan uttrykkes med et likhetstegn, men når man gjør det i en ensidig test kan man ikke bruke testen til å forkaste påstanden man får ved å snu ulikheten som π»1 uttrykker. Men det er gjerne påstanden som uttrykkes ved π»1 vi er mest interessert i. De første eksemplene i boka gjør at dette blir ganske klart. NOEN VANLIGE TESTER AV FORVENTNINGER FORVENTNING TIL GJENN OMSNITT VED KJENT VARIANS Vi tar utgangspunkt i et utvalg π1 , β¦ , ππ fra en fordeling med ukjent middelverdi π og kjent varians π 2 . Det oppgis en π0 , og vi vil teste π»0 mot π»1 der π»0 : π = π0 π»1 : π β π0 Denne tosidige testen baseres på testobservatoren πΜ , som for tilstrekkelig store π er tilnærmet normalfordelt med ππΜ = π og ππ2Μ = π2 π ved sentralgrenseteoremet. Så setter vi opp et konfidensintervall for å bestemme forkastningsområdet basert på den observerte verdien π₯Μ til πΜ ved å bruke den standardnormalfordelte variabelen π= Under π»0 , altså hvis π = π0, får vi at πΜ β π π/βπ π (βπ§πΌ/2 < πΜ β π0 π/βπ < π§πΌ/2 ) = 1 β πΌ Så forkastningsområdet er (ββ, βπ§πΌ/2 ) βͺ (π§πΌ/2 , β). Vi forkaster π»0 dersom π₯Μ ligger i dette området. Med litt regning finner vi ut at vi kan forkaste π»0 dersom π₯Μ < π0 β π§πΌ/2 |π₯Μ β π0 | > π§πΌ/2 π βπ π βπ eller hvis π₯Μ > π0 + π§πΌ/2 π βπ , altså hvis . Vi kan også skrive ulikheten med tanke på π0 , da får vi at π»0 ikke forkastes når π₯Μ β π§πΌ/2 π βπ β€ π0 β€ π₯Μ + π§πΌ/2 π βπ . Denne tosidige hypotesetesten er altså ekvivalent med å konstruere et (1 β πΌ)-konfidensintervall for π0 og forkaste π»0 dersom π₯Μ er utenfor konfidensintervallet. Hvis vi vil gjøre en ensidig test, er hele sannsynlighetsmassen til forkastningsområdet plassert i en hale av fordelingen. Derfor vil vi bruke πΌ-kvantilen i stedet for πΌ/2-kvantilen. Ellers har vi akkurat samme prosedyre som i den tosidige testen. FORVENTNING TIL GJENNOMSNITT VED UKJENT VARIANS Hvis vi har samme betingelser som i forrige test bortsett fra at π 2 også er ukjent, vil vi ved signifikansnivå πΌ forkaste π»0 hvis den t-fordelte testobservatoren π‘ = π₯Μ βπ0 π /βπ havner utenfor akseptområdet (βπ‘πΌ/2,πβ1 , π‘πΌ/2,πβ1 ) dersom vi har en tosidig test. Hvis vi har en ensidig test gjør vi tilsvarende det vi gjorde i forrige test. DIFFERANSE MELLOM FORVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE U TVALG MED KJENTE VARIANSER Her har vi to utvalg som er tilstrekkelig store til at sentralgrenseteoremet gjelder, og ønsker å teste om det er grunnlag for å si at det er en bestemt differanse mellom de to verdiene. Med samme notasjon som før: vi ønsker å teste π»0 : ππ β ππ = π0 π»1 : ππ β ππ β π0 Vi bruker π= (πΜ β πΜ ) β (ππ β ππ ) 2 2 βππ + ππ π π og gjennomfører testen på samme måte som vi gjorde tidligere. DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED UKJENTE, MEN LIKE, V ARIANSER Når ππ2 og ππ2 er ukjente, men vi har god grunn til å anta at ππ2 = ππ2 = π 2 , gjør vi som i testen av forventning til gjennomsnitt ved ukjent varians, men bruker π‘ = (π₯Μ βπ¦Μ )βπ0 1 1 π π π π /( + ) der π π2 = 2 (π+1)+π 2 (π+1) π π π π+πβ2 og forkaster π»0 hvis observatoren havner utenfor akseptområdet (βπ‘πΌ/2,π+πβ2 , π‘πΌ/2,π+πβ2 ). DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED UKJENTE OG ULIKE VARIANSER Se på kapittelet om estimering av forskjellen mellom to middelverdier med ukjente og ulike varianser og forstå hva som bør gjøres. PARRET T-TEST PARREDE OBSERVASJONE R Parrede observasjoner sammenligner to utvalg i tilfeller der hver verdi i ett utvalg har en naturlig partner i den andre. Et typisk eksempel på dette er om vi vil sjekke vekten til en person før og etter en diett, da vil vekten til et individ før dietten ha en naturlig partner i vekten til det samme individet etter dietten. Her vil det være mulig å redusere et toutvalgsproblem til et ettutvalgsproblem. Differansene π1 , β¦ , ππ i hvert par av observasjoner vil være verdiene til det tilfeldige utvalget π·1 , β¦ , π·π fra en populasjon av differanser. For tilstrekkelig store π antar vi at populasjonen er normalfordelt med ππ· = π1 β π2 Μ som punktestimat for ππ· . og en varians ππ·2 som vi estimerer med den empiriske variansen π π·2 . Vi brukes π· Siden hvert par av observasjoner {ππ , ππ } ikke vil være uavhengige av hverandre har vi at ππ·2π = ππ2π + ππ2π β 2πππππ . PARRET T-TEST Konfidensintervallet for π1 β π2 baseres på variabelen π = Μ βππ· π· ππ· /βπ og regnes ut med testobservatoren π‘ = (πΜ βπ0 ) π π· /βπ , og forkastningsområdet konstrueres med en π‘-fordeling med π β 1 frihetsgrader. Hypotesen vår blir π»0 : ππ· = π0 π»1 : ππ· β π0 Ofte er π0 = 0, som når vi vil teste om en medisin eller prosedyre har noen effekt. NÅR BØR MAN BRUKE EN PARRET T-TEST? Hvis πΆππ£(ππ , ππ ) > 0 vil en parret t-test som oftest ha større teststyrke. Hvis πΆππ£(ππ , ππ ) = 0 bør man bruke en toutvalgs t-test, som vil ha litt større styrke enn en parret t-test. Hvis πΆππ£(ππ , ππ ) < 0 vil man feilaktig forkaste π»0 for ofte ved en uparret t-test, og feilaktig mislykkes i å forkaste π»0 for ofte ved en parret t-test. TESTSTYRKE Styrkefunksjonen for en ensidig test er πΎ = 1 β π½ = 1 β π(ππ¦ππ πΌπΌ β ππππ|π»1 ) = π(ππππππ π‘ π»0 |π»1 ) Når vi har en spesifikk alternativ hypotese gir styrkefunksjonen en sammenheng mellom teststyrken πΎ; signifikansnivået πΌ; avviket π β π0 mellom den sanne verdien π og parameterverdien πΜ under π»0 ; variansen π 2 til observasjonene; og utvalgsstørrelsen π. Styrkefunksjonen kan derfor gi oss den siste av disse verdiene om vi vet resten. Se boka for eksempler. TEST FOR P MED BINOMISKE DATA ETTUTVALGS TEST FOR P MED BINOMISKE DATA Vi ønsker å teste om andelen suksesser π i et binomisk forsøk er lik en forhåndsantatt verdi π0 . Alternativhypotesen vil være π < π0 , π > π0 eller π β π0 . Signifikansnivået vårt er πΌ, og testobservatoren er en binomisk variabel π med ππ = π0 . Fra datasettet vårt finner vi antall suksesser π₯. Når π er stor kan vi bruke en normaltilnærming på testobservatoren og sette π = πΜβπ0 βπ0 (1βπ0 )/π π , der πΜ = . Her π kan det hende at vi må bruke de samme tilnærmingene som vi brukte da vi estimerte π i kapittel 9. Ellers gjennomføres testen på akkurat samme måte som før. Vi kan også finne ut ting som hvor stor π må være hvis vi ønsker en gitt teststyrke. Siden den binomiske fordelingen er diskret, er det sannsynligvis ikke mulig å lage et forkastningsområde som er nøyaktig så stort at sannsynlighetsmassen til området er πΌ. Det kan derfor være nyttig å heller bruke π-verdier dersom π er liten. Hvis vi har en ensidig test regner vi ut enten π = π(π β€ π₯|π = π0 ) eller π = π(π β₯ π₯|π = π0 ). Hvis vi har en tosidig test regner vi ut π = 2π(π β€ π₯|π = π0 ) hvis π₯ < ππ0 og π = 2π(π β₯ π₯|π = π0 ) hvis π₯ > ππ0 . Vi forkaster π»0 dersom π < πΌ. TOUTVALGS TEST FOR FORSKJELL I P MED BINOMISKE DATA Vi ønsker å teste om to andeler suksesser er like (for eksempel kan vi ønske å teste om andelen røykere med lungekreft er større enn andelen ikkerøykere med lungekreft). Her tester vi nullhypotesen π»0 : ππ = ππ = π π π mot alternativhypotesen π»1 : ππ β ππ , og bruker observatorene πΜπ = , πΜπ = . Under π»0 er πΈ(πΜπ β πΜπ ) = π π π(1βπ) π(1βπ) 1 1 ππ β ππ = π β π = 0 og πππ(πΜπ β πΜπ ) = πππ(πΜπ ) + πππ(πΜπ ) = + = π(1 β π) ( + ). π Normaltilmæring gir oss testobservatoren π = πΜπ βπΜπ 1 1 π π π π π , men vi kjenner ikke π. Derfor tilnærmer vi med βπ(1βπ)( + ) πβ πΜπ βπΜπ 1 1 π π βπΜ(1βπΜ)( + ) , der πΜ er en «pooled estimator» (litt som ππ2 da vi skulle beregne forkjellen mellom middelverdiene til to populasjoner med ukjente varianser) med verdien πΜ = ππΜπ +ππΜπ π+π = π+π π+π . Under π»0 tilsvarer dette en binomisk forsøksrekke med π + π forsøk der sannsynligheten for suksess i hvert tilfelle er πΜ . Vi forkaster π»0 hvis observatoren havner i forkastningsområdet. TEST FOR VARIANS Når vi skal utføre en hypotesetest der nullhypotesen er at variansen π 2 til en populasjon har en gitt verdi π02 mot en av de vanlige alternativhypotesene, bruker vi den samme kjikvadratfordelte observatoren som vi brukte for å konstruere et konfidensintervall i kapittel 9. Testobservatoren vår blir derfor π 2 = (πβ1)π 2 π02 . For en tosidet 2 2 test vil forkastningsområdet være at π 2 ligger utenfor intervallet (π1βπΌ/2 , ππΌ/2 ), og for en ensidet test med 2 alternativhypotese π 2 < π02 eller π 2 > π02 vil forkastningsområdet være henholdsvis π 2 < π1βπΌ eller π 2 > ππΌ2 . Legg merke til hvordan kvantilene til kjikvadratfordelingen skiller seg fra normalfordelingen og t-fordelingen. 11. ENKEL LINEÆR REGRESJON I dette kapittelet får man stor nytte av følgende identiteter: π π β(π₯π β π₯Μ ) = β π₯π β ππ₯Μ = ππ₯Μ β ππ₯Μ = 0 π=1 π π=1 π π π π π β π₯π (π₯π β π₯Μ ) = β π₯π (π₯π β π₯Μ ) + 0π₯Μ = β π₯π (π₯π β π₯Μ ) β π₯Μ β(π₯π β π₯Μ ) = β(π₯π β π₯Μ ) (π₯π β π₯Μ ) = β(π₯π β π₯Μ )2 π=1 π=1 π=1 π=1 π=1 π=1 som brukes til å beregne tre viktige estimatorer og deres forventningsverdi og varians. REGRESJONSMODELLEN Enkel lineær regresjon går ut på at vi utfører et forsøk der vi kontrollerer regresjonsvariabelen (eller regressoren) π₯1 og måler responsvariabelen π. Videre antar vi at forholdet mellom π₯ og π kan approksimeres godt med en lineær statistisk modell der vi antar at π avhenger lineært av π₯ og at det er en tilfeldig komponent involvert. Modellen skrives slik: π = πΌ + π½π₯ + π πΌ og π½ er som vanlig henholdsvis konstantledd og stigningstall. π representerer den tilfeldige feilen og antas å være normalfordelt med middelverdi 0 (altså at π¦-verdiene er normalfordelt rundt en sanne regresjonslinjen π¦ = πΌ + π½π₯) og en varians π 2 som vi kan kalle feilvariansen. Vi antar også at hver ππ er uavhengig av andre ππ og at de alle har samme varians. Vi kan aldri finne den sanne regresjonslinjen, men estimerer den med en tilpasset regresjonslinje π¦Μ = π + ππ₯ der π og π er estimater av henholdsvis πΌ og π½. Estimater for πΌ og π½ kan man finne med to metoder (som er ekvivalente i den forstand at vi får de samme estimatorene). METODER FOR Å FINNE ESTIMATORENE MINSTE KVADRATE RS METODE Her tar vi utgangspunkt i residualene ππ = π¦π β π¦Μπ , som er feilen mellom den målte verdien og den estimerte verdien. Jo mindre disse residualene er, jo bedre er modellen vår. Merk at residualene ikke er det samme som den tilfeldige komponenten π, som er en konseptuell greie som vi egentlig aldri observerer. Residualene kan vi finne. Se boka for en grei figur som vise forskjellen mellom de to. Minste kvadraters metode går ut på å finne estimater som minimerer residualenes kvadratsum πππΈ, der verdien til πππΈ er gitt ved π πππΈ = β ππ2 π=1 1 π = β(π¦π β π¦Μπ π=1 π )2 = β(π¦π β π β ππ₯π )2 π=1 I multippel regresjon kontrollerer vi et sett uavhengige regresjonsvariable π = π₯1 , β¦ , π₯π , men vi måler fortsatt bare én responsvariabel. Siden vi vil minimere πππΈ er det naturlig å finne π og π slik at den deriverte blir 0. Derivering med hensyn på π gir oss: π π πππΈ = β2 β(π¦π β π β ππ₯π ) = 0 ππ π=1 fra dette følger π π π=1 π=1 1 π π = β π¦π β β π₯π = π¦Μ β ππ₯Μ π π Derivering med hensyn på π½ gir oss π π πππΈ = β2 β(π¦π β π β ππ₯π ) π₯π = 0 ππ π=1 hvor vi kan sette inn uttrykket for π: π π π π β(π¦π β π¦Μ + ππ₯Μ β ππ₯π ) π₯π = β((π¦π β π¦Μ )π₯π β π(π₯π β π₯Μ )π₯π ) = β(π¦π β π¦Μ )π₯π β π β(π₯π β π₯Μ )π₯π π=1 π=1 π=1 π= π=1 βππ=1(π¦π β π¦Μ )π₯π βππ=1(π₯π β π₯Μ )π₯π og bruker at βππ=1(π₯π β π₯Μ ) = 0 samt svart magi til å se at dette er det samme som π= βππ=1(π₯π β π₯Μ )π¦π βππ=1(π₯π β π₯Μ )2 Vi kan bruke dette uttrykket for π i uttrykket for π for å finne tallverdiene til estimatene. Det kan vises at både π og π er forventningsrette. SANNSYNLIGHETSMAKSIMERINGSESTIMATORMETODEN Praktisk nok er estimatorene vi fant med minste kvadraters metode også sannsynlighetsmaksimeringsestimatorene til πΌ og π½. π er normalfordelt med ππ = πΌ + π½π₯π og ππ2 = π 2 , så likelihoodfunksjonen er π πΏ(π¦1 , β¦ , π¦π ; πΌ, π½, π 2) = π = π(π¦1 , β¦ , π¦π ) = β ππ(π¦π ) = β π=1 π=1 π π (β 1 ) βπ (π¦ βπΌβπ½π₯ )2 β β π π 2 2 π=1 (2π) 2 (π ) 2 π 2π 1 β2ππ 2 π β( 1 )(π¦π βπβππ₯π )2 2π 2 π π 1 ln(πΏ) = β ln(2ππ 2 ) β 2 β(π¦π β πΌ β ππ₯π ) 2 π π=1 Hvis vi deriverer ln(πΏ) med hensyn på både π og π og setter de deriverte lik 0 får vi de samme ligningene som vi fikk med forrige metode. Det er også rett frem å finne en estimator for π 2 : π π π 1 1 ln(πΏ) = β ( 2 ) + β(π¦π β πΌ β π½π₯π ) = 0 ππ 2 2 π 2(π 2 )2 π=1 som gir oss sannsynlighetsmaksimeringsestimatoren π 1 πΜ = β(π¦π β π β ππ₯π )2 π 2 π=1 Det kan vises at denne ikke er forventningsrett. Hvis vi regner på forventningsverdien til πΜ 2 ser vi at en forventningsrett estimator π 2 for regresjonsmodellen blir π π π=1 π=1 1 1 π = β(π¦π β π β ππ₯π )2 = β(π¦π β π¦Μ)2 πβ2 πβ2 2 EGENSKAPENE TIL ESTIMATORENE I tillegg til at π, π, π 2 er forventningsrette estimatorer har vi at πππ(π) = πππ(π) = π2 β π₯Μ )2 βππ=1(π₯π π 2 βππ=1 π₯π2 1 π₯Μ 2 2 = π ( + ( )) π π βπ=1(π₯π β π₯Μ )2 π βπ=1(π₯π β π₯Μ )2 π For å utlede πππ(π) vil vi være nødt til å regne ut πΆππ£(πΜ , π) siden πΜ og π ikke er uavhengige. π= (πβ2)π 2 π2 = 1 π2 βππ=1(ππ β π΄ β π΅π₯π )2 er kjikvadratfordelt med π = π β 2 frihetsgrader. Vi kan tolke det at vi deler på π β 2 i uttrykket for π 2 som at vi får noe større varians fordi vi må estimere to variable i stedet for én. KONFIDENSINTERVALL OG HYPOTESETESTER FOR πΌ, π½ OG π 2 Vi kan lage konfidensintervall og teste hypoteser om πΌ og π½ på akkurat samme måte som tidligere, men der vi før ville brukt t- og π 2 -fordelinger med π β 1 frihetsgrader må vi nå bruke fordelinger med π = π β 2 frihetsgrader. Testobservatorene våre vil være π= π΅βπ½ π/ββππ=1(π₯π β π₯Μ ) for stigningstallet og π= π΄βπΌ βπ π₯ 2 πβ π π=1 π π βπ=1(π₯π β π₯Μ )2 for konstantleddet. PREDIKSJON MED REGRE SJONSMODELLEN PREDIKSJON AV ÉN VER DI Vi kan bruke regresjonsmodellen til å forutsi verdien π¦0 til π0 i punktet π₯ = π₯0 der π₯0 ikke nødvendigvis er en verdi vi på forhånd har målt responsen til. Vi gjør dette ved å se på observatoren π0 β πΜ0 , som er normalfordelt med πΈ(π0 β πΜ0 ) = πΈ(π0 ) β πΈ(πΜ0 ) = πΈ(π΄ + π΅π₯0 ) β πΈ(π0 ) = πΌ + π½π₯0 β πΌ β π½π₯0 = 0 πππ(π0 β πΜ0 ) = πππ(π0 ) + πππ(πΜ0 )πππ(π0 ) + πππ(π΄ + π΅π₯0 ) = π 2 + πππ(π΄ + π΅π₯0 β π΅π₯Μ + π΅π₯Μ ) = π 2 + πππ((π΄ + π΅π₯Μ ) + π΅π₯0 β π΅π₯Μ ) = π 2 + πππ(πΜ ) + πππ(π΅(π₯0 β π₯Μ )) = π 2 + πππ(πΜ ) + (π₯0 β π₯Μ )2 πππ(π΅) = π 2 + = π 2 (1 + π2 π 2 (π₯0 β π₯Μ )2 + π π βπ=1(π₯π β π₯Μ )2 (π₯0 β π₯Μ )2 1 + π ) π βπ=1(π₯π β π₯Μ )2 Vi lager prediksjonsintervallet vårt ved å bruke observatoren π0 β πΜ0 π= πβ1 + 1 (π₯π β π₯Μ )2 + π β(π₯π β π₯Μ )2 som er t-fordelt med π = π β 2 frihetsgrader. PREDIKSJON AV GJENNO MSNITTSRESPONS Vi kan også finne gjennomsnittsresponsen ππ|π₯0 til π i π₯ = π₯0 , altså hvilket gjennomsnitt vi vil få dersom vi måler verdien til π mange ganger i punktet π₯ = π₯0 . Her vil vi få lavere varians, siden vi forutsier et gjennomsnitt i stedet for en enkelt verdi. Da ser vi på πΜ0 som er normalfordelt med en middelverdi og varians som vi fant i utledningen av middelverdien og variansen til π0 β πΜ0 : ππ|π₯0 = πΈ(πΜ0 ) = πΌ + π½π₯0 (π₯0 β π₯Μ )2 1 ππΜ20 = π 2 ( + π ) π βπ=1(π₯π β π₯Μ )2 Vi lager prediksjonsintervallet vårt ved å bruke observatoren π= πΜ0 β ππ|π₯0 1 (π₯ β π₯Μ )2 πβ + π π β(π₯π β π₯Μ )2 som er t-fordelt med π = π β 2 frihetsgrader. KORRELASJON Nå gir vi slipp på antagelsen om at π₯1 , β¦ , π₯π er verdier vi kan kontrollere eller måle med neglisjerbar feil. I bruk av regresjon er det gjerne slik at både π og π begge er tilfeldige variable, og at målingene våre (π₯1 , π¦1 ), β¦ , (π₯π , π¦π ) er observasjoner fra en populasjon med simultan sannsynlighetstetthet π(π₯, π¦). Korrelasjonsanalyse beregner i hvilken grad π henger sammen med π gjennom en korrelasjonskoeffisient. 2 Vi antar at marginaltettheten π(π¦|π₯) til π er normalfordelt med middelverdi ππ|π₯ = πΌ + π½π₯ og varians ππ|π₯ = π 2 for en gitt verdi π₯ av π, og at π er normalfordelt med middelverdi π og varians ππ2 . Dette gir den simultane tetthetsfunksjonen 1 π¦βπΌβπ½π₯ β (( ) 1 π ππ,π (π₯, π¦) = ππ|π (π¦|π₯)ππ (π₯) = π 2 2πππ π over området ββ < π₯ < β, ββ < π¦ < β. 2 +( π₯βππ 2 ) ) ππ Vi kan skrive π på formen π = πΌ + π½π + π der π er en stokastisk variabel som er uavhengig av den tilfeldige feilen π. Dette gir oss ππ = πΌ + π½ππ og ππ2 = π½ 2 ππ2 + π 2. Uttrykkene vi får for πΌ og π kan vi putte inn i den simultane tetthetsfunksjonen for å få en bivariat normalfordeling med det deilige uttrykket ππ,π (π₯, π¦) = 1 2πππ ππ β1 β π2 π 1 π₯βππ 2 π₯βππ π¦βππ π¦βππ 2 β (( ) β2π( )( )+( ) ) ππ ππ ππ ππ 2(1βπ2 ) der π2 = 1 β π2 π2 2 π = π½ ππ2 ππ2 kalles populasjonskorrelasjonskoeffisienten. Verdien til π er 0 når π½ = 0: når regresjonslinja er flat er det ingen korrelasjon mellom π og π i populasjonen. Siden ππ2 > π 2 må π2 β€ 1 slik at β1 β€ π β€ 1. Hvis π = ±1 har vi et perfekt lineært forhold mellom π og π der π 2 = 0. Derfor vil en π som ligger nær 1 i absoluttverdi tyde på god korrelasjon eller lineær assosiasjon mellom π og π, mens verdier nærmere 0 tyder på liten eller ingen korrelasjon. Vi kan få et estimat av π ved å bruke identiteten π π 2 πππΈ = β(π¦π β π¦Μ ) β π β(π₯π β π₯Μ )2 π=1 2 π=1 som gir oss π2 βππ=1(π₯π β π₯Μ )2 πππΈ =1β π π 2 βπ=1(π¦π β π¦Μ ) βπ=1(π¦π β π¦Μ )2 βπ (π₯ βπ₯Μ )2 Kvadratroten av denne, π = πββππ=1(π¦π π=1 Μ ) π βπ¦ 2 , brukes som estimat for π og kalles utvalgskorrelasjonskoeffisienten. π 2 kalles utvalgsdeterminasjonskoeffisienten. Denne forteller oss hvor stor andel av variasjonen i verdiene til π som kan gjøres rede for av et lineært forhold til verdiene til π. En korrelasjon π0 betyr at (100%)π02 av den totale variasjonen i verdiene til π som kan gjøres rede for av et lineært forhold til verdiene til π.
© Copyright 2024