Bortfaldets betydning i dag og over tid Belyst ved eksempler Peter Linde Interviewservice [email protected] 27. november 2013 Dagsorden • • • • • • • Hvad er en repræsentativ undersøgelse? Definition af responsrate Bortfald i Danmark Reparation af bortfald Effekt af de sidste interviews Vægtning for non-response Opsummering Spørgsmål er velkomne undervejs og diskussion tages til sidst – der skulle være tid Den samlede fejl Ingen indsamling er bedre end sit svageste led Fire ting kan gå rigtigt galt: 1. Ufuldstændig population/ramme 2. En ikke repræsentativ stikprøve 3. Bortfaldet 4. Spørgsmålene, byrde og relevans Fokus på 3, og lidt på 1 og 2. Repræsentativitet (1) • Udsnit kan tages på mange måder fx de 114 der er tilmeldt her i dag • Alle udsnit eller stikprøver heraf siger noget om udsnittet selv … men ikke alle udsnit/stikprøver kan generaliseres Hvis tre krav er opfyldt kan en stikprøve generaliseres: 1. Alle man vil sige noget om i målpopulationen skal kunne vælges 2. De skal udvælges ved lodtrækning med kendt sandsynlighed for at blive valgt 3. Man skal vægte med den inverse sandsynlighed sandsynligheden for at blive valgt Repræsentativitet (2) • Et tilfældigt udsnit der opfylder de tre krav har per definition en række smukke egenskaber • Det rigtige kan lige så godt være større som lavere • I gennemsnit er det rigtigt = Repræsentativt (afhænger kun af hvordan der er udvalgt – de tre krav) Stikprøven har en statistisk usikkerhed • Jo flere, jo mere sikkert bliver tallet • Jo flere, jo mindre bliver sikkerhedsintervallet • Matematikken siger, at man skal spørge fire gange så mange, hvis man vil være dobbelt så sikker = Sikkerhed (afhænger af stikprøvedesign og hvor mange der er udvalgt) Repræsentativitet (3) Tommelfingerregelen er, at usikkerheden højst er: Der udvælges 100 enheder Der udvælges 400 enheder Der udvælges 1600 enheder Osv.  +/- 10 %  +/- 5 %  +/- 2,5% med den sædvanlige statistiske sikkerhed = et sikkerhedsinterval på 95% Er baseret på den centrale grænseværdisætning http://onlinestatbook.com/stat_sim/sampling_dist/index.html Repræsentativitet (4) Vandret (rød): Bias (skævhed) Sort kurve: Den rene tilfældige fejl Grøn kurve: Den samlede fejl ( kvadratroden af mean square error) Repræsentativitet (5) En simpel tilfældig stikprøve • Udvalgsramme=målpopulation • Lodtrækning med kendt sandsynlighed Er altid repræsentativ – alle variabler har kun en tilfældig fejl  Grundskole Ungdomsudd. Korte videreg. Mellemlange videreg. Lange videreg. Procent Population 34,9 39,6 4,2 12,4 8,9 Stikprøve 34,0 39,3 4,0 13,2 9,5 Stikprøven er 1.800 og har en tilfældig fejl på 1-2% Repræsentativitet (6) Procent Population Stikprøve Herkomst Dansk oprindelse Indvandre Efterkommere 88,4 10,2 1,5 89,2 9,2 1,6 Familie Enlig uden børn Enlig med børn Par uden børn Par med børn 26,9 6,5 31,3 35,2 26,2 7,1 31,8 34,9 95% af alle tabeller vil have afvigelser på under 1-2% Hvis man forhåndsstratificerer proportionalt kan man fjerne den tilfældige fejl. Repræsentativitet (7) Hvis udvalgsramme er en del af målpopulation er der a priori en skævhed. Fx Kun dem med telefon  Aldersmæssigt og socialt skævt Et e-mail panel fanget på internettet: Selvrekrutteret  Speciel gruppe Købt  kan være godt eller skævt Kommer fra andre undersøgelse  overtager skævhed + ny skævhed Der kan korrigeres herfor, men det skal dokumenteres om det er lykkedes. Specielt fordi første trinnet i udvælgelsen har en skævhed, der skal lægges til. Hvis der forhåndsstratificeres skal dette dokumenteres . Definition af response rate - AAPOR Interview G Gennemført interview D Delvist gennemført interview Relevant (opfylder kriterier/kontakt) – ikke interview N Nægter eller afbryder IM Ikke muligt (fx aldrig tilgængelig) A Anden årsag (fx sygdom, sprogproblemer) Ukendt relevans – ikke interview IS Ikke noget svar UA Ukendt andet (fx ikke noget telefonnummer eller forskerbeskyttelse) e andel ‘ukendt relevans’ der tilhører i population (e=1/0 er specialtilfælde) Ikke relevant IR Udenfor population Respons rate: RR1=G/(G+D)+(N+IM+A)+(IS+UA)*e Bortfald i Dammark (1) • En svarprocent på 75-80% var mulig i 80-erne • Siden er det gået tilbage • I dag har vi en svarprocent på 50-65% Der er tre årsager: 1. Det er en generel trend i den vestlige verden 2. Det skyldes billigere dataindsamlinger 3. Og i Danmark også forskerbeskyttelsen, som fritager for at deltage i undersøgelser baseret på stikprøver, der bruger oplysninger fra CPR Bortfald (2) Omnibus 1992 2012 I alt 67% opnåelse 58% opnåelse Mænd Kvinder 66% 67% 56% 61% 16-29 30-39 40-49 50-64 65-74 62% 66% 73% 68% 67% 47% 58% 57% 61% 71% år år år år år Bortfald (3) 1992 2012 62% 67% 85% 83% 80% 51% 56% 73% 74% 70% Uddannelse Grundskole Ungdomsuddannelse Kort videregående Mellemlang videregående Lang videregående Indkomst familie Ingen registeret 1-200.000 200-350.000 350-500.000 500-750.000 750.000+ Indkomst 42% 45% 61% 61% 70% 69% 6% for høj 8% for høj Bortfald (4) Generelt er svarprocenten faldet mest de sidste 25 år for: – – – – Mænd De unge og yngre Lavest uddannelse Mindst indkomst Tallene, der netop er vist, er fra dataindsamlingen. I 2000 kom forskerbeskyttelsen, der er på 13%. Dvs. opnåelsen i dag er 58% /1.13 =51% For 25 år siden var vi normalt blandt de fem europæiske lande med mindst bortfald – i dag er vi blandt de fem med størst bortfald  Bortfald (5) • I 2000 blev muligheden for at opnå forhåndsfritagelse (forskerbeskyttelse) indført på flytteblanketten • I 2007 blev den i stedet en af de services man fx kan finde på Internettet • Godt 780.000 har i dag forskerbeskyttelse Bortfald (6) Tal om forskerbeskyttelsen 1. januar 2011 Alder 0-9 år 10-19 20-29 30-39 40-49 50-59 60-69 70+ 8,5% 12,5% 21,2% 23,7% 14,4% 9,0% 6,5% 4,9% Bortfald (7) Socioøkonomisk status: • • • • • • Selvstædig Lønmodtager Arbejdsløs Uddannelse Pensioneret Uden arbejdsstyrken 12,1% 15,3% 21,4% 13,1% 7,5% 12,2% Statsborgerskab: • Dansk 13,0% • EU, USA, Australien mv. 9,2% • Andre 8,7% Reparation for bortfald Vægtning for skævt bortfald med registeroplysninger Simpel efterstratifikation, fx en tre-vejstabel efter køn, 5 aldersgrupper og 5 indkomstintervaller – i alt 50 strata I hvert stratum dannes vægten: Population/stikprøve=N/n I den generelle situation inddrager man flere faktorer og forskellige tabeller, der genskabes med vægten. Vægt personi= N/n*Gi Gi er korrektionen Gi>1 hvis for få, fx lav indkomst Gi<1 hvis for mange, fx høj uddannelse Effekt af de sidste interviews CATI 400 CAWI 350 300 250 200 150 100 50 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 Vægtning (1) DST’s forbrugsundersøgelse kan fx vægtes efter: Statsborgerskab, beskæftigelsesstatus, socioøkonomisk status, husstandsstørrelse, region og husstandstype, uddannelsesgruppe samt: Population Opnået Vægtet Bolig Eget hus 47% 57% 47% Eget lejlighed 5% 5% 5% Lejet hus 13% 10% 13% Lejet lejlighed 33% 26% 33% Uoplyst 2% 1% 2% De vægtede tal passer (selvfølgelig) med populationen Vægtning (2) I forbrugsundersøgelsen vægter vi også for indkomst, men hvis vi ikke gør det og alene vægter for de nævnte sociale og demografiske faktorer, gælder: Fam. indk. Afvigelse Population Opnået Vægtet 520.639 557.159 +7% 518.000 -½% Indkomsten overvurderes med ca. 7%, hvis man ikke vægter. Den samme bias var for 15 år siden ca. 3% Vægtningen med de demografiske og sociale faktorer reducerer biasen til ½%. Hvis vi også have vægtet for indkomst havde biasen for indkomst være 0% (selvfølgelig) Effekt af vægtning (3) Vægtningen har tre virkninger: 1. Kontrollerer det der er muligt mht. non-response – begrænser den største fejlkilde 2. Kan øge vægtningen af stikprøvevariansen lidt, hvis der er meget skævt bortfald – nødvendigt hvis man vil kontrollere biasen 3. Kan vinde stikprøvevarians svarende til graden af forklaret variation – registervariabler kan fjerne usikkerhed Effekt af vægtning (4) I eksemplet fra forbrugsundersøgelsen: Vi måler andelen af husstande, der har et årligt forbrug på over 300.000 – baseret på svaret i spørgeskemaet. Andel over 300.000 Spredning Uvægtet 46% Vægtet 39% Simpel Kun punkt 2 Punkt 2+3 Naiv Overvurderer Rigtig/bedst 0.0098 0.0107 0.0070 Gevinsten er 1-(0.0098/0.0070)**2 = 97% De 2.462 interviews svarer effektivt til 4.845. Man har gratis fået 2.383 interviews + reduceret bias (1) Vægtning (5) Vægtning kan ikke fjerne alt bias. I undersøgelsen Befolkningens brug af IT vægtes efter sociale- og demografiske faktorer. Procent medlemmer af Ældresagen Udvalg Opnåede svar Pop Stikprøve Uvægtet Vægtet 16-74 år 75-89 år 10,0 43,8 9,9 41,8 14,7 48,1 11,1 49,2 Medlemmer af Ældresagen deltager signifikant oftere i undersøgelser – også efter vægtning Vægtning (6) Arbejdskraftundersøgelsen Indkomst Hele populationen 175.367 Bortfald 161.677 Besvarelser 180.379 Vægtet for køn, alder og geo 180.982 Yderligere vægtet for udd. og job 176.928 Vægtning for køn, alder og geografi giver ikke noget. Man skal også inddrage sociale forhold. Opsummering Bortfaldet er • Stigende i omfang • Har fortsat stor social bias • Svagt øget social bias • Vægtning for demografiske forhold løser ikke problemet • Vægtning for sociale forhold kan løse meget • Men ikke alt Spørgsmål ?