1. No category

UTRED N IN GSRAPPORT
Processavdelningen
Jörgen Brewitz
1(25)
Datum
Beteckning
2015-03-16
228902/8762445
Ert datum
Er beteckning
2014-12-05
2.4.5-2014-4370
Martin Daniels
Tillväxtverket
Box 4044
102 61 STOCKH OLM
Utredning om metodik för webbpanelundersökningar
1.
Sammanfattning
Syftet m ed d enna utred ning är att belysa förd elar och nackd elar m ed
w ebbpanelund ersökningar i förhålland e till ”trad itionella” und ersökningar baserad e på sannolikhetsurval. Utred ningen ska på så vis ge
Tillväxtverket ett beslutsund erlag inför planering av fram tida statistik prod uktion.
Webbpanelund ersökningar kan ha praktiska förd elar i att d e vanligen är
relativt billiga, enkla och snabba att genomföra. Vid are kan uppgiftsläm narbörd an i en m ening sägas bli lind rig, genom att respond enterna
på eget bevåg väljer att gå m ed i w ebbpanelerna och får rutin på att
m ed verka i und ersökningar.
En betyd and e nackd el med w ebbpanelund ersökningar är att d e vanligen
saknar d en vetenskapliga grund som finns för trad itionella und ersökningar baserad e på sannolikhetsurval. Webbpanelund ersökningar kan
d elas in i två huvud typer: d e som i grund en bygger på sannolikhetsurval
och d e som helt bygger på icke-sannolikhetsurval. Den första typen är
hanterbar m ed statistisk m etod ik för urval och bortfallskom pensation,
om bortfallet hålls und er kontroll. Den and ra typen kan t.ex. ha självrekryterad e paneler eller paneler vald a på något annat sätt utan full
kontroll över förfarand et; d enna typ har ingen sannolikhetsteoretisk
grund och konfid ensintervall är inte giltiga.
Det är oklart hur tillförlitliga slutsatser ska kunn a d ras om populationsstorheter från w ebbpanelund ersökningar, särskilt för d e und ersökningar
som bygger på självrekryterad e w ebbpaneler . Em piriska resultat visar på
potentiellt stora system atiska fel för såd ana und ersökningar, utom
m öjligen för väljarbarometrar. Vid are kan problem m ed und ertäckning
sned vrid a resultaten av und ersökningar om företeelser som är särskilt
frekventa i grupper av äld re, lågutbild ade eller utrikes föd d a.
N aturligtvis förekom m er problem m ed osäkerhet även i trad itionella,
sannolikhetsbaserad e und ersökningar, t.ex. när bortfallet blir stort. Dock
finns d är basala förutsättningar för att åtm instone kontrollera problem en.
Postadress
Besöksadress
Box 24 300, 104 51 STOCKHOLM
701 89 ÖREBRO
www.scb.se
Organisationsnummer: 20 21 00-0837
Karlavägen 100
08-506 940 00
Klostergatan 23
019-17 60 00
E-post: [email protected]
Momsregnummer: SE202100083701
Telefon
Fax
08-661 52 61
019-17 70 80
2(25)
En bed ömning är att d et även vid stort bortfall änd å är en avgörand e
förd el m ed att utgå från sannolikhetsurval.
En d el nyare ansatser att i m öjlig m ån kom pensera för inverkan av bort fall, prim ärt utform ad e för sannolikhetsbaserad e und ersökningar, kan
vara tänkbara även för w ebbpanelund ersökningar. Såd ana m etoder kan
utnyttja kom pletterand e inform ation från and ra datakällor, såsom
registerd ata eller totalund ersökta d ata. Risken finns att inform ationen
från d e and ra källorna inte är relaterad starkt nog till d e und ersökta
företeelserna för att avgörand e förbättra und ersökningens kvalitet.
Utred ningen avlämnar följand e slutsatser och rekom m end ationer:
1. Webbpanelund ersökningar kan variera m ycket i kvalitet, t.ex.
beroend e på om w ebbpanelerna är självrekryterad e eller rekry terad e utifrån sannolikhetsurval.
2. De svarand e i en w ebbpanelund ersökning kan in te sägas utgöra
ett sannolikhetsurval.
3. Vid genom förand e av w ebbpanelund ersökningar ska öppen
red ovisning göras av vald a m etod er och av num eriska beskrivningsm ått för bed ömning av kvalitet.
4. Det saknas en vetenskaplig grund för att generalisera resultat från
w ebbpanelund ersökningar avseend e allmänheten till hela popu lationen.
5. Webbpanelund ersökningar ska norm alt und vikas när m ålet är att
skatta populationsstorheter tillförlitligt.
6. Webbpaneler kan använd as för kvalitativa och experim entella
änd am ål.
N otera att ovanståend e slutsatser kan kom m a att änd ras om betyd and e
fram steg görs inom forskning och praktik avseend e w ebbpanelund ersökningar. För d etta ford ras bland annat utveckling av ett vetenskapligt
ram verk för w ebbpanelund ersökningar. Det är ett rim ligt krav på
sam hällsstatistik, som ligger till grund för viktiga beslut av m ynd igheter
och and ra aktörer, att vald und ersökningsm etodik kan m otiveras utifrån
vetenskapliga principer.
Ett alternativ till w ebbpanelundersökningar är ökad användning av
w ebbenkäter inom traditionella, sannolikhetsbaserad e und ersökningar.
Sw ed ish Tourism Survey, som beställs av Tillväxtverket, är en w ebbpanelund ersökning av den typ som saknar sannolikhetsteoretisk grund .
Det är om öjligt att veta om skattningarna hamnar någorlunda rätt eller
inte, utifrån d en inform ation som ställts till utredarens förfogand e och
givet bristen på kvalitetsm ått. Metod iken för w ebbpanelund ersökningar,
som använd s i und ersökningen, saknar en solid vetenskaplig grund . Inte
heller em piriska resultat från forskningslitteraturen inom om råd et tyd er
på att tillförlitliga resultat kan förväntas. Möjligen kan kom pletterand e
inform ation från and ra datakällor utnyttjas för att öka tillförlitligheten,
m en d et gäller end ast för variabler d är d et finns starkt relaterad infor-
3(25)
m ation tillgänglig. Mått på osäkerheten i d e statistiska resultaten går inte
att beräkna på ett giltigt sätt. N ågra num eriska beskrivningsm ått, i linje
m ed Surveyföreningens rekom m end ationer, bör d ock kunna tas fram .
N är d et gäller Entreprenörskapsbarom etern bed öm s d en, liksom d e flesta
und ersökningar, i nuläget inte vara särskilt läm pad att lägga över som
w ebbpanelund ersökning. Ett bättre alternativ bedöm s vara att börja m ed
w ebbinsam ling, i kombination m ed telefonintervju eller m öjligen postenkät, d vs. att börja m ed en m ixed -m ode-ansats. Vid are vore d et önskvärt m ed en utvid gad användning av hjälpinformation i beräkningarna.
2.
Utredningsuppdrag
Metod iken för w ebbpanelund ersökningar är om d isku terad , och Tillväxtverket har behov av att bed öm a om resultat från w ebbpanelund ersök ningar håller tillräcklig kvalitet.
Syftet m ed d enna utred ning är att belysa förd elar och nackd elar m ed
w ebbpanelund ersökningar i förhålland e till ”trad itionella” und ersökningar baserad e på sannolikhetsurval. I utredningsuppd raget ingår att ge
ett utlåtand e om läm pligheten i att utnyttja w ebbpanelm etodik för två
specifika und ersökningar. Utred ningen ska ge Tillväxtverket ett beslutsund erlag inför planering av fram tida statistikprod uktion. Om fattningen
på utred ningen är relativt liten, och rapporten ger en översikt och kan
inte på något sätt betraktas som uttöm m and e beträffand e d e frågeställningar som tas upp .
Jörgen Brew itz (f.d . Svensson), processansvarig för om råd et Utforma och
utvärdera på SCB:s processavd elning, har genomfört d enna utred ning.
Synpunkter som lett till förbättringar har lämnats av en referensgrupp
beståend e av Carl-Erik Särnd al, professor em eritus, konsult åt SCB,
Thom as Laitila, professor, Örebro universitet och SCB, Martin Axelson,
senior m etod statistiker, SCB, och Joakim Malm d in, chef för M etodenhet
företag och organisationer, Stockholm, SCB.
3.
Metodik för webbpanelundersökningar
3.1 Bakgrund
Den snabba utvecklingen av internet sed an mitten av 1990-talet har lett
till en ny typ av und ersökning: w ebbpanelund ersökningen. Med en
webbpanel (internetpanel, on-line-panel) avses en accesspanel beståend e
av personer (eller företag) som är villiga att svara på w ebbenkäter. En
accesspanel är en d atabas över ett urval potentiella respond enter som har
ställt sig villiga att d elta i fram tid a und ersökningar om d e väljs ut till
d essa, se ISO (2009). En webbpanelundersökning kan d å d efinieras som en
und ersökning m ed urval från en w ebbpanel (eller flera), d vs. en und er-
4(25)
sökning via w ebben utifrån personer som förklarat sig villiga att d elta i
såd ana und ersökningar om d e blir utvald a.
Webbpanelund ersökningar kan lätt förväxlas m ed and ra typer a v und ersökningar. En såd an är longitud inella und ersökningar m ed fasta eller
roterand e paneler, såsom t.ex. i Arbetskraftsundersökningarna (AKU).
Såd ana undersökningar bygger d ock trad itionellt på s.k. sannolikhetsurval.
Med sannolikhetsurval avses, något förenklat, ett urval (ett stickprov)
som är d raget m ed en såd an slum pm ekanism att alla objekt eller
personer i d en population som statistiken ska avse har en chans att
kom m a m ed i urvalet; och storleken på d en chansen (sannolikheten) ska i
princip vara känd , person för person .
Det är väsentligt att hålla isär urvalsförfarand e och insam lingssätt. En
und ersökning som baseras på ett sannolikhetsurval och för vilken d ata insamling görs helt eller d elvis via w ebben, d vs. via w ebbenkäter, utgör
inte i sig en w ebbpanelund ersökning. SCB genom för en relativt stor d el
av sin d atainsamling via w ebbenkäter, och för företagsund ersökningar är
d et huvud alternativet.
Webbpanelund ersökningar kan synas ha praktiska förd elar framför
trad itionella und ersökningar baserad e på sannolikhetsurval. Webb paneler är ett relativt enkelt, snabbt och billigt sätt att sam la in stora
m ängd er d ata. Inga intervjuare är inbland ad e, och d et blir inga kostnad er
för porto eller hantering av postförsänd elser m ed pappersblanketter .
Metod iken har d ärför fått stort genom slag bland m arknad s- och
opinionsu nd ersökare.
Det finns em ellertid allvarliga problem med w ebbpanelund ersökningar.
H uvud problem et rör hur slutsatser ska kunna d ras från d em som d eltar i
und ersökningen till m ålpopulationen (d en population statistiken ska
avse), d vs. generaliserbarheten eller m öjligheten att göra inferens (d ra
slutsatser) från urval till population .
Webbpanelerna är näm ligen vanligen självselekterad e, i d en meningen
att personerna själva väljer att vara m ed i en panel efter en bred inbjud an.
Panelerna är d å alltså inte upprättad e m ed sannolikhetsurval från popu lationen. Även i d e fall w ebbpaneler upprättas m ed sannolikhetsurval
från början, vilket är principiellt annorlund a, är deltagarandelen (svarsand elen) ofta m ycket låg, så att bortfallet riskerar led a till stora system atiska fel i statistikresultaten.
Relativt m ycket forskning har bed rivits på senare år inom w ebbpanelm etod ik; för en sam m anställning av forskningsläget, se Callegaro m .fl.
(2014). Det saknas d ock fortfarand e en solid vetenskap lig grund för
w ebbpanelund ersökningar, i synnerhet för d em som grund as helt på
icke-sannolikhetsurval.
För EU-reglerad statistik gäller Riktlinjer för europeisk statistik (Cod e of
Practice). I inledningen står d et europeiska statistiksystem ets vision: Det
5(25)
europeiska statistiksystemet ska vara världsledande inom statistiska informationstjänster och den främsta leverantören av information till Europeiska
unionen och dess medlemsstater. M ed utgångspunkt i vetenskapliga principer
och metoder ska det europeiska statistiksystemet erbjuda ett ständigt förbättrat
program med harmoniserad europeisk statistik som utgör en väsentlig grund för
de demokratiska processerna och framstegen i samhället.
Utgångspunkten för statistikfram ställningen är alltså vetenskapliga
principer och m etod er. Princip 8 hand lar om lämpliga statistiska
förfaranden, som är väsentliga för att fram ställa ved erhäftig statistik.
Und er d en principen finns Ind ikator 8.3: Undersökningarna är välgrundade
med avseende på utformning, urval och skattningsmetoder, och dessa aspekter
ses regelbundet över och ändras vid behov. En fråga som bör ställas är om
w ebbpanelund ersökningar kan vara välgrund ad e m ed avseend e på
utform ning, urval och skattningsm etod er. Frågan behand las ned an i
avsnitt 3.2–3.6.
Som und erlag för resonem ang i d et följand e, ges här några förenklad e
begreppsförklaringar. Det uppkom na felet för en skattning, dvs. ett
statistikvärd e i betyd elsen ett red ovisat värd e på en statistisk storhet
(param eter), från en statistisk und ersökning är vanligen okänt och
påverkas av system atiska och slum pm ässiga effekter. Inom teorin för
urvalsund ersökningar beaktas genomsnittsegenskaper över alla m öjliga
utfall av urvalsprocessen, svarsprocessen, m ätprocessen etc. Det totalfel
(som är en genom snittsegenskap) ett skattningsförfarand e är behäftat
m ed brukar teoretiskt uttryckas i term er av d en förväntad e avvikelsen
m ellan skattningens värd e och d en skattad e storhetens faktiska, men
okänd a, värd e. Totalfelet kan i tanken d elas upp i två d elar: ett slum p m ässigt och ett system atiskt fel.
Det slumpmässiga felet i en skattning m äts vanligen m ed m ed elfelet
(stand ard avvikelsen , kvad ratroten ur variansen), sed d över alla m öjliga
utfall (av urval, svarsm ängd etc.). Med elfelet skattas norm alt utifrån d e
erhållna svaren i und ersökningen. Ett (ungefärligt) konfid ensintervall
m ed 95 procents konfid ensgrad bild as som d et skattad e värd et
plus/ m inus d ubbla skattad e m ed elfelet för skattningen .
Det systematiska felet kan uppfattas som skillnad en m ellan d et skattad e
värd et på en statistisk storhet, i ett vägt genom snitt över alla m öjliga
utfall, och d et sanna värd et för storheten. Detta fel kallas även skevhet
eller inform ellt ”sned vrid ning” (engelska: bias). Det system atiska felet
avspeglas i princip inte alls i angivna konfid ensintervall, m en kan i
m ånga situationer, t.ex. vid besvärand e bortfall, stå för en större d el av
totalfelet. Konfid ensintervall bör alltså inte använd as som end a kvalitetsind ikator för en statistisk und ersökning.
Begreppen ovan har en m ening givet att und ersökningen ifråga bygger
på sannolikhetsurval. I annat fall finns ingen tydlig tolkning. Konfidensintervall kan ersättas m ed ett slags bed öm ningsintervall, som d ock m åste
baseras på m od ellantagand en. Det systematiska felet för en skattning
6(25)
från ett urval från en självselekterad w ebbpanel kan m öjligen tolkas som
skillnad en m ellan den erhållna skattningen för en storhet i ett vägt
genomsnitt över tänkbara utfall (som d et inte finns någon beskrivning
av) och d et sanna värd et för storheten. Även här kan m od ellantagand en
behövas.
I d et följand e läggs störst fokus på inferensproblem atiken för w ebbpanelund ersökningar, vilket behand las i avsnitt 3.3 Icke-sannolikhetsurval. I
avsnitt 3.2 och 3.4 behand las und ertäcknings- och m ätfelsfrågor. Avsnitt
3.5 ger en allm än d iskussion huruvid a w ebbpanelund ersökningar kan
använd as för att framställa tillförlitlig statistik. I avsnitt 3.6 presenteras
slutsatser och rekom m end ationer.
3.2 Undertäckning
En ram är en förteckning eller ett utd rag ur ett register, som använd s i en
statistisk und ersökning för att d ra ett urval av objekt. Med ram popu lation m enas d en m ängd av populationsobjekt (såsom ind ivid er eller
företag) som ingår i ramen. Ram populationen skiljer sig vanligen från
m ålpopulationen (d en population statistiken ska avse), vilket led er till
täckningsfel. Bristand e täckning kan bestå av undertäckning, d vs. d e
objekt som ligger i målpopulationen m en inte i ram populationen, eller
övertäckning, dvs. d e objekt som ligger i ram populationen m en inte
m ålpopulationen.
Begreppen ovan används främ st i det fall ett sannolikhetsurval d ras från
ram populationen. För självselekterad e w ebbpaneler finns ingen ram . I
d et följand e förutsätts d ärför en vidare, ospecifik använd ning av begreppen, d är täckning står för internettäckning och und ertäckning får betyd a
d e objekt som ligger i m ålpopulationen m en inte i d en tänkta ram populationen (som d et inte finns någon beskrivning eller tyd lig avgränsnin g av).
En w ebbpanelundersökning kan d å liksom and ra und ersökningar sägas
lid a av undertäckning, d vs. att hela m ålpopulationen inte täcks in av
w ebbpanelens tänkta ram population . Målgruppen för en und ersökning
är oftast vid are än d e personer som har tillgång till internet, och w ebbpaneler kan inte företräd a m änniskor som inte når w ebben. Valet av
d atainsam lingsm etod med för alltså en und ertäckning.
Enligt Eurostat had e 95 procent av svenskarna i åld ern 16–74 år tillgång
till internet år 2013. Enligt stud ien Svenskarna och internet 2014 från
Stiftelsen för internetinfrastruktur had e 91 procent av svenskarna i åld ern
18 år och uppåt tillgång till internet. And elen i åldern 76 år och uppåt
som använd e internet m inst någon gång var 34 procent, och and elen som
använd e internet d agligen var 24 procent. Detta bord e m ed föra att
w ebbpanelund ersökningar inte behöver lid a av stora system atiska fel på
grund av und ertäckning, om d e inte rör företeelser som är vanliga just i
grupper d är tillgång till internet är m ind re frekvent, t.ex. åld ersrelaterad e
hälsoproblem .
7(25)
Problem atiskt är att internetanvänd ningen är ojäm nt förd elad över
befolkningen: äld re, lågu tbild ad e och utrikes föd da är und errepresenterad e bland d em som har tillgång till internet. Försiktighet är alltså
påkallad när d et gäller und ersökningar i ämnen m ed särskild betyd else
för grupper av äld re, lågutbild ad e eller utrikes föd d a. För exem pelvis en
folkhälsoenkät skulle und ertäckningen kunna leda till att en w ebbpanelund ersökning blir d irekt m issvisand e.
Betlehem och Biffignandi (2012) visar att d et system atiska felet för ett
skattat m ed elvärd e av någon variabel på grund av und ertäckning
bestäm s av två faktorer. Den första faktorn är and elen personer utan
internet. Tillhörand e fel m inskar när internettäckningen ökar. Den and ra
faktorn är skillnad en m ellan m ed elvärd et för m ålvariabeln (und ersökningsvariabeln) för d em m ed respektive utan internet. Ju större skillnad en är, d esto större bli skevheten.
Eftersom internettäckningen kan väntas fortsätta öka, m inskar effekten
av d en första faktorn. Det är d ock inte klarlagt hur d en and ra faktorn
utvecklas. Det kan inte uteslutas att d en (lilla) återståend e grupp en utan
internet skiljer sig alltm er från resten av befolkningen. Därför kan fortfarand e ett systematiskt fel kvarstå, även om internettillgången är hög.
En tänkbar lösning för und ertäckningsproblem et är att utvid ga w ebbpanelen till en s.k. mixed -m od e-panel, dvs. att skapa en grupp panelm ed lem m ar utan internet och använd a en annan d atainsamlingsm etod för
d em (postenkät eller telefonintervju ). Detta led er d ock till ökad e kostnad er. Dessutom kan en d el m ätproblem uppstå m ed d e olika insam lingsm etod erna. Mixed -m od e-paneler har prövats bland annat i
N ed erländ erna och USA.
En annan ansats är att kom pensera för und ertäckningen i skattningsfasen, t.ex. m ed kalibrering. Se vidare beskrivningen av kalibrering m ot
bortfall i und eravsnittet Justeringar vid skattning i avsnitt 3.3 Ickesannolikhetsurval ned an.
Även övertäckning kan tänkas förekom m a i w ebbpanelundersökningar.
Exem pel på d etta är personer som inte bor i Sverige längre (om d essa inte
ingår i målgruppen) och d ubbletter av personer genom m er än en
anm älan av en person till sam m a w ebbpanel. Det senare antas d ock
w ebbpanelföretagen kunna hantera genom processer som valid erar att
personen ifråga är d en som d en utger sig vara och att personen kan gå
m ed i panelen end ast en gång. Känd övertäckning kan tas bort ur
beräkningsund erlaget. Okänd övertäckning är svårare att hantera.
Sam m antaget bed öm s dock övertäckningsproblem atiken i regel vara
m ind re än und ertäckningsproblem atiken i w ebbpanelundersökningar.
8(25)
3.3 Icke-sannolikhetsurval
Sannolikhetsurval kontra icke-sannolikhetsurval
Sed an om kring 1950-talet har u rvalsund ersökningar för sam hällsstatistik
i regel baserats på sannolikhetsurval. Detta gäller inte bara i Sverige utan
i stora d elar av värld en. Förfarand et är transparent och bygger på vetenskaplig grund och utgör en grund bult i statistikprod uktion m ed urvalsund ersökningar. Dessutom kan osäkerhetsm ått, t.ex. skattad e urvalsfel
uttryckta i konfid ensintervall, beräknas för skattningarna (statistikvärd ena). De skattad e urvalsfelen täcker vid låga urvalsfraktioner in d et
m esta av d e slum p m ässiga felen i en und ersökning, d vs. även slum p m ässiga m ätfel till stor del. Praktiska om ständ igheter kan göra d et
nöd vänd igt att avvika från sannolikhetsurval i en d el fall, m en d å ska d et
finnas starka skäl.
Ett tilltagand e problem är förekom sten av bortfall. Bortfallet led er till en
uppsättning av svarand e som inte är ett sannolikhetsurval från populationen, såvid a inte bortfallet är helt slum pm ässigt. Det har visat sig att
bortfallet ofta är ojämnt förd elat, t.ex. är d et vanligen större bland unga
och utrikes föd d a. Bortfallskom pensation kan göras på så vis att svaren
från personer i und errepresenterad e grupper ges en något större vikt än
övriga personers svar. Metod en för bortfallskom pensation är väl d oku m enterad i d en statistikvetenskapliga litteraturen. Den garanterar d ock
inte att hela d et system atiska bortfallsfelet kan elim ineras.
Surveyföreningen (2014) anger att term en sannolikhetsurval fortfarand e
använd s vid bortfall av m ind re om fattning, d å olika justeringar tillgrips.
N är bortfallsfelet bed öms vara av större om fattnin g anges seriösa und ersökare avstå från att betrakta sina d ata som erhållna genom sannolikhetsurval. Det finns d ock ingen ved ertagen gräns för när storleken eller
karaktären på bortfallet skulle göra att d et ”slutliga urvalet” av m edverkand e (svarsm ängd en) inte längre kan beskrivas som ett sannolikhetsurval.
Ett något annorlund a sätt att se på d etta är att först konstatera att sannolikhetsurval använd s, vilket är principiellt viktigt, eftersom själva urvalet
d å är slum pm ässigt på ett kon trollerat sätt, och att sed an hantera bortfallet på bästa sätt. Problem et blir d å tyd ligare upp strukturerat i två
slum p m ekanism er: d els en välkontrollerad d är urvalet görs, d els en
bortom effektiv kontroll d är bortfallet uppstår.
Det förekom m er att w ebbpaneler rekryteras utifrån sannolikhetsurval.
Den s.k. kum ulativa d eltagarand elen (se ISO , 2009), som grovt kan sägas
m otsvara svarsand elen i en trad itionell und ersökning, är d ock ofta så låg
(und er 10 procent) att svarsm ängd en änd å kan betraktas som ett ickesannolikhetsurval, enligt synsättet i Surveyföreningen (2014). Som nyss
nämnts ovan är ett annat synsätt att betona att und ersökningen bygger
på sannolikhetsurval, m en att d en är d rabbad av ett stort bortfall.
9(25)
Webbpanelund ersökningar baseras d ock ofta på icke-sannolikhetsurval,
t.ex. genom rekrytering via reklam på internet. Panelen som erhålls är d å
självselekterad : respondenterna har själva valt att d elta i panelen, och
urvalsförfarand et är okontrollerat. Inform ation saknas båd e om vilka
personer som inte varit m ed vetna om att valet fanns att d elta i panelen
och om vilka personer som valt att inte vara m ed . Webbpaneler kan även
rekryteras på något annat sätt utan full kontroll över urvalsförfarand et;
även d å hand lar d et om icke-sannolikhetsurval. Dessa fall är principiellt
annorlund a och kan inte återföras på en trad itionell und ersökning.
De två typerna av w ebbpanelundersökningar ovan, baserad e på sanno likhetsurval respektive icke-sannolikhetsurval, är i grund en olika. Den
första typen är vetenskapligt och em piriskt grund ad , även om d et stora
bortfallet kan ställa till allvarliga problem . Den senare typen saknar i
nuläget en sannolikhetsteoretisk grund och bygger snarare på em piri från
enskild a und ersökningar. I d et följand e behand las båd a typerna som
kraftigt påverkade av självselektion eller ”representativitetsproblem ”,
trots oklarheten i begreppet ”representativitet” enligt ned an.
I sam band m ed använd ning av icke-sannolikhetsurval, t.ex. vid w ebbpanelund ersökningar, talas en hel d el om "representativitet" eller
”riksrepresentativa” urval. Denna användning av begreppet
”representativitet” är d ock långt ifrån okontroversiell bland statistiker,
eftersom d et lätt för tankarna i fel riktning. Begreppet kan ha m ånga
betyd elser och använd s ofta i en lös m ening för att förm ed la en vag
uppfattning om god kvalitet. Enligt ISO (2009) får begreppet använd as
end ast om d et d efinieras tyd ligt. Vanligen avses att urvalets objekt, t.ex.
personer, inte i några viktiga avseend en skiljer sig från populationens.
Urvalet sägs utgöra en miniatyr av populationen, t.ex. ett m ini-Sverige.
Detta tros visas genom att urvalet från w ebbpanelen har sam m a struktur
på bakgrund svariabler som kön, åld er, region och inkom st, eller attityd och livsstilsvariabler. Ett annat sätt att bekräfta "representativitet" vid
w ebbpanelund ersökningar kan vara att jäm föra resultaten från d essa
m ed känd a uppgifter från register eller und ersökningar m ed sannolikhetsurval.
Det är d ock väl känt att ett urval, t.ex. från en w ebbpanel, kan vara
”representativt" m ed hänsyn till alla känd a bakgrund svariabler, och på
så sätt representera populationens sam m ansättning, utan att ge tillförlitliga skattningar av d e statistiska m ålstorheterna. De personer som
ingår i und ersökningen kan avvika m ed avseende på m ålvariablerna,
från d em som inte ingår. Detta kan kallas ett självselektionsfel. Som
kontrast till d etta kan konstateras att vid sannolikhetsurval av tillräcklig
storlek led er d et slum pm ässiga inslaget till en naturlig sp rid ning eller
"representativitet" på värd ena i urvalet för alla variabler. Dock kan d elvis
liknand e problem atik med självselektion gälla även i situationer m ed
stort bortfall i undersökningar m ed sannolikhetsurval.
För icke-sannolikhetsurval saknar d et vanliga osäkerhetsm åttet (skattat
urvalsfel) tolkning, varför d et inte heller kan använd as för att konstruera
10(25)
konfid ensintervall. Följden blir att signifikanta (statistiskt säkerställd a)
skillnad er m ellan grupper eller över tid inte kan fastställas. Mer allm änt
im plicerar ovanståend e att d et för statistik som baseras på icke-sannolikhetsurval norm alt inte är m öjligt att säkerställa att statistiken håller
tillräcklig kvalitet för att kunna använd as som beslutsund erlag.
Som näm nts tidigare, är ett alternativ till konfid ensintervall att ta fram ett
slags bed ömningsintervall. Detta måste d ock baseras på en m od ell och
blir starkt beroend e av vilka antagand en som görs om urvalet och popu lationen. Bed ömningsintervall (engelska: credibility intervals, se AAPOR,
2012) är tänkta att sp egla d en statistiska osäkerhet som genereras av en
m od ell som bygger på bayesiansk statistisk teori. Mod ellen väljs av en
expert och ska ge ett slags översättning från d eltagand et i en w ebbpanelund ersökning till m ålpopulationen för d ensam ma. En stor svårighet
ligger i att värd era om mod ellantagand ena är rimliga eller inte. AAPOR
påkallar försiktighet i användningen av bed ömningsintervall.
Det har d elvis d iskuterats om d e höga bortfallsnivåerna i m ånga ind ivid och hushållsundersökningar bord e led a till en om prövning av sannolik hetsurvalet som bas för urvalsund ersökningar till individ er och hushåll.
En vanlig hållning bland statistikbyråer internationellt är att stå fast vid
sannolikhetsurval som grund läggand e förutsättning. Det bed öm s viktigt
att bygga på en solid grund av sannolikhetsurval, hålla ned bortfallet så
långt som m öjligt och d ärefter justera för d et återståend e bortfallet m ed
hjälp av tillgänglig hjälpinform ation från register . Ett sätt att minska bortfallet, eller åtm instone minska kostnad en för d atainsamling eller m inska
bortfallets sned vrid and e effekt, är att övergå till m ixed -m od e-lösningar,
d är w ebbenkät i nuläget kan ses som en m öjlighet.
H ur tungt d e praktiska förd elarna m ed w ebbpanelund ersökningar ska
väga kan också diskuteras. SCB har inte genom fört några w ebbpanelund ersökningar och kan d ärför inte avgöra hur m ycket billigare och
snabbare und ersökningarna skulle kunna göras. En m isstanke är d ock att
förd elarna inte blir så stora om tillförlitlig statistik ska fram ställas. Se
vid are Bethlehem s rekom m end ationer i avsnitt 3.5 ned an.
Det vore önskvärt att kunna ange kvaliteten som en funktion av
kostnad en för en und ersökning, t.ex. i ett d iagram . Ett und ersökningsupplägg som led er till alltför låg kvalitet, givet syftet m ed und ersökningen (d vs. i relation till hur d en är avsed d att använd as), kan d å
betraktas som oanvänd bart. Ett und ersökningsupplägg som led er till hög
kvalitet men m ycket höga kostnad er, givet syftet m ed und ersökningen,
kan betraktas som icke prisvärt. Valet bör i stället falla på ett upplägg
som ger tillräcklig kvalitet givet syftet och som har ett rim ligt pris. För
w ebbpanelund ersökningar utifrån icke-sannolikhetsurval finns d ock i
nuläget inte tillräckligt m ed und erlag för att överhuvud taget bed öm a
kvaliteten i d e erhållna statistikvärd ena för en enskild und ersökning
(annat än från em piriska stud ier av and ra w ebbpanelundersökningar, se
avsnitt 3.5 ned an). Det är d ärför svårt, i synnerhet för sam hällsstatistik,
11(25)
att m otivera valet av en w ebbpanelund ersökning m ed en lägre
kostnad snivå.
Bortfall i w ebbpanelundersökningar
Vid urval från självselekterad e w ebbpaneler är d et inte helt m eningsfullt
att tala om bortfall och svarsfrekvens. Det är känt hu r m ånga som faktiskt
har svarat, men inte hur m ånga d ärutöver som bord e ha svarat und er
tänkta id eala förhålland en. I stället för bortfall skulle begrepp som
(själv)selektionsfel kunna använd as. I d et följande använd s d ock för
enkelhets skull begreppet bortfall för båda typerna av w ebbpanelund ersökningar, här i betyd elsen ”d e som inte selekterats fram och
svarat” (eller ”d e som inte selekterat fram sig och svarat”).
Bortfall uppstår i (m inst) två faser för en w ebbpanelundersökning: vid
rekrytering av pan elen (eller panelerna) och vid den specifika und ersök ning som görs för ett urval från panelen. Bortfallet är i regel högre i d en
första än i d en and ra fasen. Det beror på att d et behövs en särskild
ansträngning att gå m ed i en w ebbpanel, m ed an besvarand et av en
enskild enkät eventuellt inte är så ansträngand e för någon som red an är
panelm edlem .
Bortfall vid rekrytering av panel
Rekrytering till w ebbpanelund ersökningar är svårare än rekrytering till
en enskild und ersökning, eftersom åtagand et är större för en sekvens av
und ersökningar. Rekryteringen kan som näm nts ovan ske utifrån en
und ersökning baserad på sannolikhetsurval, d är und ersökningen
antingen enbart är avsedd för rekrytering eller har and ra syften m en
kom pletteras m ed en rekrytering. Då talas om sannolikhetsbaserade
paneler. Bortfall uppstår genom att inte alla besvarar d enna und ersökning och genom att alla svarand e inte väljer att acceptera ett erbjud and e
att gå m ed i en w ebbpanel. I själva verket kan and elen av d e ursprung ligen utvald a som väljer att ansluta sig till panelen vara m ycket låg, t.ex.
om kring 10 procent. I nästa fas genomförs vanligen en s.k. profilund ersökning för att d els få en bekräftelse på paneld eltagand e (d ubblerat
m ed givande), d els utöver e-postad ressen få tillgång till psykografiska
d ata, d vs. uppgifter om livsstil och attityder, från panelm ed lem m arna.
Dessa d ata kan använd as för filtrering av kom m and e urval till speciella
m ålgrupper och för att förstå och justera för bortfall i specifika undersök ningar. Alla tilltänkta panelm ed lem m ar svarar dock inte på profilund ersökningen. En risk är att p anelen kom m er att bestå av ”proffstyckare”
eller en högljud d m inoritet, på bekostnad av den tysta m ajoriteten.
Sam m a fenom en kan förvisso gälla för d e svarand e i en traditionell
und ersökning, m en w ebbpaneler har norm alt betyd ligt större bortfall än
vad som förekom m er i officiell statistikprod uktion.
Många paneler är självrekryterade, d vs. inte från början baserad e på
sannolikhetsurval. Rekryteringen görs via reklam på internet och innebär
att d e som utför und ersökningen inte i förväg kan veta vilka personer
som får inbjud an eller hur m ånga gånger en person får en inbjud an , även
12(25)
om inbjud an kan vara riktad m ot vissa grupper av personer. Urvalssannolikheten för en ind ivid är alltså okänd , och bortfallet i egentlig
m ening är också okänt. Även för självrekryterade paneler brukar en
profilund ersökning göras.
Rekrytering till en w ebbpanel kan göras vid ett enstaka tillfälle, m en d et
är vanligare att rekryteringen görs vid upprepade tillfällen. Det uppstår
d å olika kohorter (”kullar”) av panelm edlem m ar. Om rekryteringen har
gjorts utifrån sannolikhetsurval, kan urvalssannolikheten skilja m ellan
olika kohorter, vilket behöver beaktas i skattningarn a. Det förekom m er
även att w ebbpaneler rekryterad e på olika sätt läggs sam m an, i syfte att
öka volym en och ”representativiteten” avseend e befolkningen i allm än het.
Bortfall genom utträde
En panels sam mansättning föränd ras hela tid en av olika orsaker. En
m ed lem kan utträd a på egen begäran eller bli utesluten på grund av
inaktivitet. Det finns även and ra orsaker till utträd e (engelska: attrition).
Se vid are Surveyföreningen (2014). Bortfall genom utträd e led er till att
panelen efter en tid s existens har större bortfall eller kan bed öm as vara
m er självselekterad än d irekt efter rekrytering. Kom pletterand e rekryte ring kan genom föras, och d en kan då läm pligen inriktas m est på grupper
m ed hög grad av utträd e.
Bortfall i den specifika undersökningen
Ett urval från en w ebbpanel till en specifik und ersökning kan utform as
på olika sätt. Det förekom m er obund na slum pmässiga urval, men d e är
ovanliga enligt Baker m .fl. (2010). Stratifiering är en effektiv m etod för
sannolikhetsurval, som ofta ökar precision en i d e slutliga skattningarna.
Det är oklart hur vanligt d et är m ed stratifierad e urval från w ebbpaneler
och hur väl d e fungerar för självrekryterad e w ebbpaneler eller för sannolikhetsbaserad e w ebbpaneler m ed stora bortfall. Kvoturval (kvotaurval)
är en vanlig m etod att d ra urval från w ebbpaneler. Då rekryteras d e
svarand e så att and elarna (kvoterna) i olika und ergrupper stäm m er
överens (ungefär) m ed de uppskattad e and elarna i populationen. Till
exem pel rekryteras specificerad e antal m än och kvinnor i olika åld ersgrupper. Kvoturval påminner om stratifierad e urval, m en saknar d en
vetenskapliga grunden för ett stratifierat sannolikhetsurval.
Bortfall kan uppstå i specifika und ersökningar när personen ifråga inte
har tid eller intresse att delta i und ersökningen och bid ra med svarsinform ation. Bortfall kan också bero på att personen inte hinner svara på
enkäten innan d en stängs eller innan en viss kvot i ett kvoturval är upp fylld . Bortfallet är rim ligen m ind re för korta enkäter som m axim alt tar
några m inuter att fylla i, t.ex. avseende opinioner eller väljarsym patier,
än för längre enkäter. Specifika und ersökningars bortfall bed öm s i stort
sett vara m ind re sned vrid and e än rekryteringsbortfallet, särskilt efter
läm pliga bortfallsjusteringar i skattningsfasen (se avsnittet Justeringar vid
skattning nedan). Se vidare Bethlehem och Cobben (2013).
13(25)
Systematiskt fel på grund av bortfall
Det system atiska felet (i utvid gad bem ärkelse) i en skattning av ett
m ed elvärd e eller en totalsum m a på grund av bortfall eller självselektion
beror på några olika faktorer. Bethlehem och Biffignandi (2012) presenterar resultat m ed en ansats som utgår från ind ivid specifika d eltagar sannolikheter (svarsbenägenheter). De visar att felet är proportionellt m ot
korrelationen m ellan svarsbenägenhet och m ålvariabel (und ersökt
variabel), m ot stand ard avvikelsen för m ålvariabeln och m ot stand ard avvikelsen för svarsbenägenheten , och omvänt proportionellt m ot d en
genom snittliga d eltagarsannolikheten (d vs. svarsand elen eller d en
kum ulativa d eltagarand elen). Svarsand elen fungerar alltså inte så väl
som end a ind ikator på det system atiska bortfallsfelet, se vid are Groves
och Peytcheva (2008). Dock gäller att felet m inskar om svarsand elen är
hög, förutsatt att allt annat är lika. Vid are gäller att sned vridningen
förvärras om d et som ska m ätas samvarierar m ed benägenheten att vara
m ed i und ersökningen och om d enna benägenhet varierar m ycket m ellan
personerna i d en population statistiken ska avse.
Ett exem pel på ett stort system atiskt fel i en und ersökning, innan juste ring utifrån en bortfallsstud ie genom förd es, kan häm tas från en fritid s fiskeund ersökning avseend e 2006 som SCB genom förd e på uppd rag av
d åvarand e Fiskeriverket. De svarand e var m arkant m er intresserad e av
fiske än d e som inte svarad e, d vs. korrelationen var hög m ellan
svarsbenägenheten och d en und ersökta variabeln . Det sned vrid and e
bortfallet led d e, före justering, till en stor överskattning av antalet
fisked agar, fiskefångst m.m . (se Jansson och Svensson, 2008).
Det är inte svårt att föreställa sig liknand e effekter för w ebbpanelund ersökningar, t.ex. för frågan Hur ofta surfar du på nätet? William s (2012)
visad e att omfattningen av internetanvändning och d atorspeland e överskattad es kraftigt i en w ebbpanelund ersökning. Eftersom svarsbenägenheten vanligen är lägre än i traditionella und ersökningar, kan en
korrelation m ellan svarsbenägenhet och d en undersökta variabeln led a
till ett större system atiskt fel (genom att felet även är om vänt proportionellt m ot svarsbenägenheten).
Det system atiska bortfallsfelet i en w ebbpanelundersökning kan även
d ekom poneras efter respektive selektionsfas (se Svensson, 2014),
åtm instone om panelen rekryterats m ed ett sannolikhetsurval från
början. Felet från rekryteringsfasen är lika m ed and elen som inte har
rekryterats m ultiplicerad m ed d en okänd a skillnad en m ellan dem som
rekryterats och d em som inte rekryterats (eventuellt efter justering i
skattningen, se avsnittet ned an). Felen som uppstår i profileringsfasen
och und ersökningsfasen kan beräknas på liknande sätt. Det sam m an lagd a bortfallsfelet blir sum m an av d essa tre fel. Det räcker alltså inte
m ed att känna till and elarna som inte har rekryterats, inte har profilerats
respektive inte har d eltagit i d en specifika und ersökningen. Den skevhet
som up pstår i respektive fas bestäm m er också det system atiska felet.
14(25)
Justeringar vid skattning
Tillförlitligheten i de skattningar som fram ställs beror inte bara på hur
urvalet har d ragits eller hur stort eller sned vrid and e bortfallet är, u tan
även på hur skattningarna beräknas. Skattning av statistiska storheter
görs norm alt genom att varje objekt ges en vikt som m ultipliceras m ed
variabelvärd et, varefter d e så uppkom na prod ukterna per objekt ad d eras
till population s- eller red ovisningsgruppsnivå. Skattning innefattar ofta
en om vägning för att justera för bortfallet, exem pelvis genom s.k. kalibrering. Motsvarand e justering kan göras för en självselekterad svarsmängd .
Justering med vägning är d ock bara effektiv om de hjälpvariabler som
använd s för att få fram nya vikter är korrelerad e m ed svarsbenägenheten
eller m ed m ålvariablerna.
Med hjälpvariabler eller hjälpinform ation m enas en m ängd av variabler
för vilka värd en finns för objekten i und ersökningen ifråga och för vilka
totalsum m orna finns för hela d en avsed d a populationen (eller hela
urvalet, vid bortfall). H jälpvariablerna är ofta registervariabler, men kan i
w ebbpanelfallet även häm tas från profilund ersökningen. För en översikt
om bortfallsjustering genom vägning vid sannolikhetsurval, se Särnd al
och Lund ström (2005).
För w ebbpanelund ersökningar rekom m end eras vägning i två steg , se
Bethlehem och Cobben (2013), även om vägning i ett steg också är en
m öjlighet. Det första steget avser justering för rekryteringsbortfall (inkl.
bortfall i profilund ersökningen), och d et and ra steget avser justering för
bortfall i d en specifika und ersökningen. Bortfallsm ekanismerna kan
näm ligen vara olika och kräva olika hjälpvariabler och vägnings m od eller. De slutliga kom pensationsvikterna fås genom m ultiplikation
av rekryteringsvikterna (första steget) m ed und ersökningsvikterna
(and ra steget).
För rekryteringsbortfallet kan enkla bakgrund svariabler som kön, åld ers grupp och region utnyttjas för vägning (poststratifiering). Det är d ock
tveksam t om d essa variabler är korrelerad e m ed svarsbenägenhet i
rekrytering eller m ålvariabler.
För und ersökningsbortfallet i d en specifika w ebbpanelundersökningen
kan d et vara lättare att hitta läm plig hjälpinform ation. Bland annat kan
alla variabler från profilund ersökningen användas för bortfallsjustering.
En d el nyare ansatser att i m öjlig m ån kom pensera för inverkan av bortfall, prim ärt utform ad e för sannolikhetsbaserad e und ersökningar, kan
vara tänkbara även för w ebbpanelund ersökningar. Såd ana m etoder kan
utnyttja kom pletterand e inform ation från and ra datakällor, såsom
registerd ata eller totalund ersökta d ata. En m öjlighet är att väga i ett steg
genom kalibrering m ot ett riktm ärke, d vs. en känd totalsum m a för en
hjälpvariabel, i d e fall en läm plig sådan finns att tillgå. Risken finns att
hjälpinform ationen inte är relaterad starkt nog till d e und ersökta för eteelserna för att avgörand e förbättra und ersökningens kvalitet.
15(25)
Ett m er am bitiöst alternativ är att genom föra en referensund ersökning
för att m äta hjälpvariabler och genom föra en s.k. propensity score
ad justm ent, se Lee (2006). En såd an undersökning ska baseras på
sannolikhetsurval och får inte ha ett sned vrid ande bortfall. Und er d e
förutsättningarna kan hjälpvariablernas totalsumm or skattas m ed god
noggrannhet. Om d å d essa variabler även efterfrågas i w ebb panelund ersökningen, kan en justering m ed föra m inskat system atiskt fel, d ock
till priset av ett ökat slum pfel (eftersom referensund ersökningen baseras
på ett urval).
Kontrollerad inferens från w ebbpanelundersökningar?
Som beskrivits ovan finns problem m ed att d ra inferens från ett urval ur
en w ebbp anel till en m ålpopulation. En intressant frågeställning är om
d et går att d ra nytta av förd elarna m ed en w ebbpanelund ersökning utan
att behöva ge upp en kontrollerad inferenssituation, se Svensson (2013)
och Svensson (2014). Kom binationer av w ebbpanelund ersökningar och
trad itionella sannolikhetsurval kan d å m öjligen vara en lösning. En såd an
kom bination i form av en referensund ersökning har red an presenterats
ovan. Tyngd punkten flyttas d å från en enskild und ersökning som en
friståend e enhet till integration av d ata från flera olika källor. En såd an
utveckling kan skönjas när d et gäller kom binationer av urvalsund ersök ningar och registerbaserad e und ersökningar, och m öjligen även för
kom binationer av nya d atakällor (und er benämningen Big Data) och
urvalsund ersökningar eller registerbaserad e undersökningar. Den
vetenskapliga grund en är d ock relativt svag för hur d essa kom binationer
ska göras på bästa sätt.
Olika kom binationsansatser kan vara tänkbara att pröva. I sam m anhang
d är w ebbpanelund ersökningar kan tänkas kom ma ifråga, kan två
parallella und ersökningar genom föras: en traditionell, sannolikhetsbaserad und ersökning och en w ebbpanelund ersökning. Resultaten kan
använd as för att utröna grad en av skillnad i skattningarna m ellan d e två
ansatserna. Dessutom kan d en väletablerad e, sannolikhetsbaserad e
und ersökningen utnyttjas för att ”överföra styrka” till w ebbpanelund er sökningen eller kom mand e såd ana. Mer inform ation om hur d etta skulle
kunna gå till ges i Svensson (2013). N otera d ock att ansatserna kan
kom m a att red ucera fördelarna m ed w ebbpanelund ersökningar, att d e är
enkla, snabba och billiga.
3.4 Mätfel
Med m ätfel (på objektnivå) avses skillnaden m ellan d et observerad e
variabelvärd et, d vs. d et värd e respond enten avger, och variabelns sanna
värd e. Att svara på frågor i en enkät eller via intervju är en kom plex
kognitiv process och m ycket kan händ a som led er till fel i mätningen.
Mätfel uppstår genom brister i d atainsam lingsm etod en eller m ätinstru m entet (frågor, svarsalternativ m .m .), genom m isstag hos respond enten
eller på grund av intervjuarens beteend e. Felkällorna är d ock inte
16(25)
oberoend e och felen orsakas ofta av en kombination av d essa. En
väld esignad und ersökning och m otiverad e respond enter är centralt för
att m inim era m ätfelet.
Jäm fört m ed telefonintervjuer har w ebbund ersökningar (och i viss mån
and ra självad ministrerade insamlingsm etod er, t.ex. postenkäter) båd e
förd elar och nackd elar när d et gäller att begränsa m ätfelet. En betyd and e
förd el m ed w ebbinsamling är att d en ger en m ind re risk för m ätfel från
s.k. socialt önskvärd a svar, se Baker m .fl. (2010). Respond enterna tend erar att ge ärligare svar på känsliga frågor när ingen intervjuare finns
närvarand e. En annan förd el är att respond enten kan besvara form uläret
i sitt eget tem po och d ärm ed få större m öjlighet att reflektera över frågan
och eventuellt också ha bättre chans att m innas d et korrekta svaret. Till
nackd elarna hör att d et i w ebbinsam ling inte finns någon intervjuare som
kan m otivera respond enten och m inska risken för m issförstånd av frågor.
Genom att intervjuare svarar på följdfrågor från respond enter eller
fångar upp uppenbara missförstånd kan vissa fel und vikas i intervju und ersökningar. Att en intervjuare lägger sig i svarsprocessen innebär
d ock sam tid igt att intervjuareffekten ökar och att m ätningen blir m ind re
stand ard iserad . Vilken insam lingsm etod som är att föred ra beror d ärm ed
till stor d el på und ersökningen s ämne och frågornas karaktär. För att vid
w ebbinsam ling inte orsaka onöd iga mätfel är d et viktigt a tt tänka på att
frågeform uläret kan ge olika, ibland bristfälliga, skärm bild er vid använd ning av olika w ebbläsare eller olika hård varor (d ator, surfplatta eller
m obiltelefon).
En viktig orsak till m ätfel är även s.k. satisficing (engelska: blandning av
satisfy och suffice). Satisficing innebär att respondenter inte i första hand
väljer d et svarsalternativ som är m est sant utan det första alternativ d e
ser eller hör och som är rim ligt. I stället för att ta sig tid och fund era
igenom frågan ord entligt och t.ex. läsa (alternativt lyssna på) sam tliga
svarsalternativ väljer respond enten d et första alternativ som uppfattas
som tillräckligt bra. Fenom enet kan leda till att respond enter ”felaktigt”
väljer mitten- eller vet ej-alternativ, väljer svar i sam m a kolum n i en
tabellfråga, eller m arkerar färre svar än vad som är korrekt vid ifylland e
av kryssrutor för flera svarsalternativ. Forskningsläget är oklart när d et
gäller förekom sten av satisficing vid w ebb- respektive intervjuinsam ling,
se Baker m .fl. (2010).
En påverkan på m ätfelet kan också uppstå genom s.k. anpassat svarsbeteend e (engelska: panel conditioning): när en person und er en tid varit
m ed i en panel finns risk att svarsbeteend et påverkas på ett inte önskvärt
sätt. Med lem skapet i en panel kan påverka beteend en, attityd er och
värd eringar. Panelm ed lem m en kan tänkas bli omotiverad och slarvig
eller m ed vetet lämna oriktiga uppgifter. Panelm ed lem m ar kan också visa
tecken på professionalisering, t.ex. bli m er m ed vetna eller nyanserad e i
sitt tyckand e än folk i allm änhet. Se vidare Surveyföreningen (2014).
Forskningsresultaten är d ock fortfarand e m otsägelsefulla beträffand e
förekom sten av m ätfel på grund av anpassat svarsbeteende, se Baker
m .fl. (2010).
17(25)
Allmänt kan sägas att forskningsläget avseend e mätfel i w ebbinsamling
(inklusive i w ebbpanelund ersökningar) är fragmenterat. Ofta har experim entella stud ier gjorts på m ind re grupper av stud enter, och d et är svårt
att veta hur generaliserbara resultaten är (Bethlehem och Cobben, 2013).
Det finns kunskap och metod er för att begränsa mätfelet genom god
d esign och välkonstruerad e m ätinstrum ent, m en m er forskning behövs
för att kartlägga m ätfelens storlek och riktning vid w ebbinsam ling.
3.5 Diskussion
Kan w ebbpanelund ersökningar använd as för att prod ucera tillförlitlig
statistik? Den frågan ställs i olika konferens- och tid skriftsartiklar. En
organisation som har uttalat sig om w ebbpanelund ersökningar är
AAPOR (Am erican Association for Public Opinion Research ). AAPOR
tillsatte 2008 en expertgrupp (task force) för w ebbpaneler och w ebbpanelund ersökningar, beståend e av m ånga fram stående am erikanska statistiker. Gruppen lämnad e 2010 en rapport avseende forskningsläget för
w ebbpanelund ersökningar sam t om och hur w ebbpaneler kan använd as
för d atainsam ling och statistikprod uktion. Rapporten återges i Baker
m .fl. (2010). De slutsatser och rekom m end ationer som läggs fram kan fritt
sam m anfattas så här:







Icke-sannolikhetsurval ger vanligen säm re tillförlitlighet än
sannolikhetsurval.
Icke-sannolikhetsbaserad e w ebbpaneler bör undvikas när m ålet
är att skatta populationsstorheter tillförlitligt.
Icke-sannolikhetsbaserad e w ebbpaneler kan kom m a till använd ning i and ra sam manhang än för att skatta popu lationsstorheter
tillförlitligt.
Webbpaneler kan variera m ycket i sam m ansättning och
hantering.
Webbpanelföretag bör inform era om sina m etod er och d ata.
Kvalitetsbed ömningar kräver full öppenhet om hur statistiska
resultat har erhållits.
Forskningen om w ebbpaneler och icke-sannolikhetsurval m åste
fortsätta.
Mest väsentligt här är att AAPOR avråd er från icke-sannolikhetsbaserad e
w ebbpanelund ersökningar vid skattning av populationsstorheter, d vs.
vid fram tagning av statistikvärd en. Det som inte ingår i d etta är bland
annat kvalitativa och experim entella stud ier.
AAPOR tillsatte 2011 en expertgrupp för icke-sannolikhetsurval, som
avgav en rapport 2013, se AAPOR (2013). I rapporten ges m ånga
allm änna slutsatser och rekom m end ationer avseend e icke-sannolikhetsurval. Det sägs bland annat att urvals- och skattningsm etod er har
betyd else för kvaliteten på skattningar från w ebbpanelundersökningar.
Vid are hävd as att även om icke-sannolikhetsurval ofta har fungerat väl
18(25)
för väljarbarom etrar, så är d eras tillförlitlighet oklar inom and ra ämnesom råd en och för m er kom plexa und ersökningar m ed flera syften.
Väljarbarom etrar förtjänar några egna kom m entarer. Webbpanelbaserad e
väljarbarom etrar har m ånga gånger gett relativt säkra resultat, båd e i
Sverige och utomlands (se Baker m .fl., 2010). Men väljarbarom etrar är en
speciell typ av und ersökningar. De har en end a huvud fråga, vilken kan
betraktas som enkel, väsentligen vilket parti respond enten skulle rösta på
om d et vore val i d ag. Justerand e vägning kan göras m ed hjälp av de
vanliga bakgrund svariablerna, m en d et finns även m öjlighet att fråga hur
respond enten röstad e i förra riksd agsvalet och använd a d etta för s.k.
partivägning. I Sverige är d essutom v ald eltagandet högt, vilket gör d et
lättare att jämföra och kalibrera väljarbarom etrar m ot valresultatet.
Därtill finns det m ånga and ra konkurrerand e barom etrar att jämföra
m ed . Att lyckas m ed en väljarbarom eter, d är d et finns en tydlig huvud variabel och gott om hjälpinform ation, ger d ärför inte någon garanti för
fram gång med helt and ra typer av und ersökningar . Många av d e undersökningar som genom förs på m ynd igheter avser d essutom kvantitativa
variabler, som kan vara sned förd elade, vilket ökar risken för stora
system atiska fel.
Liksom för väljarbarom etrar kan d et övervägas för and ra typer av
w ebbpanelund ersökningar om d et är m öjligt att jäm föra och kalibrera
m ot ett riktm ärke, d vs. en känd totalsum m a för en hjälpvariabel. Det
gäller d ock att finna en hjälpvariabel som är starkt korrelerad m ed
und ersökningsvariablerna. Dessutom behöver mönstret vara stabilt över
tid en. En överensstäm melse m ellan hjälp - och und ersökningsvariabel
kan vara tillfällig och d ärm ed av begränsat värd e.
Debatten om w ebbpanelund ersökningar har varit livlig i USA på senare
år. En d el m enar att AAPOR varit för konservativa när d et gäller ny
m etod ik, särskilt m ot bakgrund av d e höga bortfallsnivåerna i de
trad itionella opinionsund ersökningarna i USA. Und er 2014 tillsatte
AAPOR, bland annat m ed anledning av debatten, ytterligare en expertgrupp, d enna gång på tem at om värd ering av d agens und ersökningsm etod er (Reassessing Tod ay’s Survey Method s Task Force).
Ett väsentligt em piriskt resultat om w ebbpaneler finns i d en s.k.
Stanford -stud ien, som red ovisas i Yeager m .fl. (2011). Där jäm förd es
resultat från några am erikanska w ebbpanelund ersökningar och från
sannolikhetsbaserad e und ersökningar m ed riktmärken från tillförlitliga
källor. Det visad e sig att w ebbpanelund ersökningarna konsekvent had e
säm re tillförlitlighet, även efter bortfallsjusterande vägning, och att d eras
tillförlitlighet varierad e m er. Und ersökningarna som byggd e på sannolikhetsurval fungerad e därem ot väl, även vid relativt stora bortfall.
I Scherpenzeel och Bethlehem (2011) jämförd es resu ltat från w ebbpanelund ersökningar m ed känd a riktm ärken . Jäm förelserna avsåg d els en
sannolikhetsbaserad w ebbpanelund ersökning, d els en specifik und ersökning genom förd utifrån nitton olika självrekryterad e w ebbpaneler.
19(25)
Det system atiska felet var för fem av sex riktm ärken m ind re för d en
sannolikhetsbaserad e und ersökningen än för genom snittet av d e nitton
and ra und ersökningarna.
Tourangeau m .fl. (2013) presenterad e en m etaanalys av åtta självrekry terad e w ebbpaneler avseend e effekten av vägning för att red u cera
skevhet på grund av undertäckning och självselektion. Justeringarna
elim inerad e som högst ca 60 procent av d et system atiska felet, och för
vissa variabler ökad e felet.
Även i Europa har w ebbpanelundersökningar varit förem ål för forskning
och d ebatt. En av d e m est fram ståend e forskarna inom om råd et är
professor Jelke Bethlehem , som är knuten till d en ned erländ ska statistik byrån. I Bethlehem och Cobben (2013) besvaras frågan huruvid a w ebbpaneler kan använd as för officiell statistik. Svaret är ja und er förutsättning att





panelm edlem m arna rekryteras m ed sannolikhetsurval
bortfall båd e vid rekrytering och i d en specifika und ersökningen
förebyggs i m öjlig m ån och hjälpinform ation använd s för att
justera för bortfallsfel
panelen förnyas regelbund et
und ertäckningsproblem et hanteras genom en extra insats
m ätfelen hålls nere genom läm pliga åtgärd er.
Bethlehem utesluter alltså i nuläget använd ning av självrekryterad e
w ebbpaneler för fram ställning av officiell statistik. H an påpekar även att
d et är en kom plex uppgift att uppfylla förutsättningarna ovan och att d et
kan vara resurskrävand e. Slutligen påpekas vikten av investeringar i
forskning och praktik, om w ebbpaneler ska kunna använd as för fram ställning av tillförlitlig statistik.
Danm arks statistik börjad e und er 2014 att bygga upp w ebbpaneler
genom att fråga om p aneld eltagand e i trad itionella, sannolikhetsbaserad e
und ersökningar. I d essa und ersökningar var svarsfrekvensen ca 60–65
procent, och knappt hälften av d e svarand e vald e att gå m ed i en
w ebbpanel. Webbpanelen består nu av 16 000 personer i åld ern 18–74 år.
Dessa har jämförts m ed hela befolkningen, m ed sam m a åld ersavgränsning, och visat sig ha för få unga, ogifta, ensam ståend e utan barn,
lågutbild ade, låginkom sttagare, utrikes föd d a och arbet slösa. Webbpanelen ger alltså en för positiv bild av d e ekonom iska resurserna i
befolkningen.
I novem ber genomförd es ett första försök m ed en w ebbpanelund er sökning för Gross N ational H appiness Ind ex. Urvalet på 3000 personer
till d enna und ersökning gjord es efter stratifiering och proportionell
allokering m ed avseend e på kön, åld er, geografi, utbild ning och fam iljetyp. För d essa fem bakgrund svariabler stäm d e d ärför förd elningen m ed
befolkningsförd elningen. Deltagarand elen i d en specifika und ersökningen var 27 procent. (Den kum ulativa d eltagarand elen, se förklaring
20(25)
ned an, blev d ärm ed om kring 8 procent.) Bland d e svarand e visad e sig på
nytt sam ma m önster: för få unga, lågutbild ad e, ensam stående utan barn,
osv. I skattningarna har justeringar för skevheterna gjorts m ed hjälp av
kalibrering på kön, åld er, geografi, utbildning och fam iljetyp. Efter d etta
är d et fortfarand e för få låginkom sttagare och för m ånga hög inkom sttagare. Det kan även finnas skevheter som har m ed und ersök ningsvariablerna att göra. Utfallet av d etta första försök m ed en w ebbpanelund ersökning hos Danmarks statistik är i skrivand e stund inte färd ig utvärd erat.
Det finns även internationella riktlinjer för w ebbpaneler och und ersök ningar baserad e på såd ana. Dessa riktlinjer avser inte främ st om utan hur
w ebbpanelund ersökningar bör genom föras. Riktlinjer ges bland annat ut
av ESOMAR (European Society for Opinion and Market Research ).
ESOMAR:s 28 questions to help buyers of online samples (ESOMAR, 2012) är
riktad e till köpare av urval från w ebbpaneler och lyfter fram behovet av
öppenhet och med vetenhet sam t köparens bed öm ning av om en w ebb panelund ersökning kan m otsvara köparens behov och förväntningar.
Riktlinjerna enligt den internationella stand ard en ISO 26362 (ISO, 2009)
gäller accesspaneler i allm änhet och anger stand ard iserad e processer för
hantering av såd ana paneler.
I Sverige tillsatte Surveyföreningen (en sektion inom Svenska statistik främ jand et) år 2009 en kom m itté m ed uppgift att ta fram en skrift som
belyser kvalitetsfrågor och presenterar m ått som på olika sätt kan
beskriva kvalitet i w ebbpanelund ersökningar. Kom m ittén avlämnad e sin
rapport i fjol, se Surveyföreningen (2014). N ågra num eriska beskrivningsm ått föreslogs för kvalitetsbed öm ning, och därutöver rek om m end erad es
verbala beskrivningar av rekrytering, urva l och skattning m .m . Måtten
bygger d elvis på Callegaro och DiSogra (2008) sam t DiSogra och
Callegaro (2009).
Ett exem pel på ett num eriskt m ått är d en kum ulativa d eltagarand elen.
Den kan end ast beräknas för paneler som använt sannolikhetsbaserad e
urvalsm etod er i rekryteringsfasen och i urvalet för d en specifika und er sökningen. And elen är lika m ed rekryteringsand elen m ultiplicerad m ed
profiland elen och m ed deltagarandelen i en specifik und ersökning. Den
kum ulativa d eltagarandelen liknar svarsfrekvensen i en trad itionell
und ersökning och kan använd as för grova jämförelser. För en närm are
beskrivning, se Surveyföreningen (2014). Ett annat num eriskt m ått, som
relaterar till själva panelen, avser d om inansen från vissa panelm ed lem m ar, d vs. att några få svarar på en stor d el av enkäterna. Dom inansm åttet
d efinieras som and elen svar som d e 20 procent mest aktiva panelm ed lem m arna har bid ragit med . Ett m ått relaterat till d en enskilda und ersök ningen, som beskriver anpassat svarsbeteende, är m ed iantid en vid
besvarandet av enkäten. Måttet kan jäm föras m ellan en grupp av personer som d eltagit i m ån ga und ersökningar och en grupp av personer som
d eltagit i få und ersökningar. Det finns inte und erlag ännu för att säga hur
väl d e olika m åtten pred icerar kvaliteten i en w ebbpanelund ersökning.
21(25)
På ett av Surveyföreningen anord nat sem inarium – Kvalitet i
w ebbpanelund ersökningar – d en 12 februari 2015, presenterad es
beräknad e num eriska mått från nio w ebbpanelund er sökningar utförd a
av sex olika företag. Medianvärd et för d essa nio und ersökningar var för
rekryteringsand elen 11 procent, profiland elen 54 procent och d eltagar and elen 63 procent. Medianvärd et för d en kum ulativa d eltagarand elen
var 6 procent, med 3 procent som lägsta värd e och 8 procent som högsta
värd e. För d om inansm åttet ovan var m ed ianvärdet 47 procent. Beträffand e anpassat svarsbeteend e had e en m ajoritet kortare m ed iantid för
besvarande av enkäten bland d em som d eltagit i m ånga und ersök ningar
jäm fört m ed d em som d eltagit i få und ersökningar. Det bed öm s troligt att
d e företag som bid ragit m ed m ått till Surveyföreningen har högre
kvalitet än branschen i stort, eftersom företagen öppet red ovisar sina
värd en på d essa num eriska m ått.
Surveyföreningens w ebbpanelkom mitté vill inte ge sig in i d ebatten för
eller em ot använd and e av självrekryterad e paneler, m en skriver att
w ebbpaneler är ”i d e flesta fall m ind re läm pliga att använd a när m an vill
skatta nivåer i populationen m ed god precision” . Kom m ittén skriver
även att w ebbpaneler kan övervägas vid kvalitativa und ersökningar, vid
experim ent, om d et kan verifieras em piriskt att urval från panelen ger
tillförlitliga skattningar och för återkom m and e, likad ana und ersökningar
för att upptäcka trend er (inte nivåer). Beträffand e d istinktionen mellan
paneler erhållna genom sannolikhetsurval respektive självrekrytering,
sägs som näm nts tid igare att även om panelen erhållits genom sannolikhetsurval så betraktas d ärtill hörand e w ebbpanelund ersökningar som
baserad e på icke-sannolikhetsurval, på grund av d et m ycket stora
bortfallet i hela ked jan . Beräkning av sannolikhetsbaserad e m ått som
konfid ensintervall avråds från.
Vetenskapliga råd et, som har till uppgift att bistå SCB i frågor om
m etod er och kvalitet i statistiken och som även får bistå and ra statistikansvariga m yndigheter, tog upp frågan om w ebbpaneler på sitt m öte i
m aj 2012, se Statistics Sw ed en (2012). Råd et rekom m end erad e SCB att
lära sig m er om w ebbpanelm etod ik och utröna om m etod iken kan
anpassas till att m öta kvalitetskraven för officiell statistik. Råd et uttryckte
vid are att statistik av låg kvalitet inte ska prod uceras och att använd ningen av d åliga w ebbpaneler inte får legitim eras.
3.6 Slutsatser och rekommendationer
Utifrån d et som beskrivits ovan läm nar utred ningen följand e slutsatser
och rekom m end ationer:
1. Webbpanelund ersökningar kan variera m ycket i kvalitet, t.ex.
beroend e på om w ebbpanelerna är självrekryterad e eller rekry terad e utifrån sannolikhetsurval.
2. De svarand e i en w ebbpanelund ersökning kan inte sägas utgöra
ett sannolikhetsurval.
22(25)
3. Vid genom förand e av w ebbpanelund ersökningar ska öppen
red ovisning göras av vald a m etod er och av num eriska beskriv ningsm ått för bed ömning av kvalitet.
4. Det saknas en vetenskaplig grund för att generalisera resultat från
w ebbpanelund ersökningar avseend e allmänheten till hela popu lationen.
5. Webbpanelund ersökningar ska norm alt und vikas när m ålet är att
skatta populationsstorheter tillförlitligt.
6. Webbpaneler kan använd as för kvalitativa och experim entella
änd am ål.
N otera att ovanståend e slutsatser kan kom m a att änd ras om betyd and e
fram steg görs inom forskning och praktik avseend e w ebbpanelund ersökningar.
I d en fem te punktsatsen ovan sägs att ”w ebbpanelund ersökningar ska
norm alt undvikas när målet är att skatta populationsstorheter tillför litligt”. Som beskrivs i Surveyföreningen (2014) kan w ebbpanelund er sökningar m öjligen vara använd bara om d et kan verifieras em piriskt att
urval från panelen ger tillförlitliga skattningar, genom jämförelse me d
säkrare statistik. Även för återkom m and e undersökningar d är sam m a
frågeform ulär och proced urer i övrigt använd s varje om gång, kan
trend er vara m öjliga att följa (om d et kan styrkas att ett eventuellt
system atiskt fel är lika stort och har sam m a riktning varje om gång).
Det kan nämnas att d et finns alternativ till w ebbpanelund ersökningar.
Exem pelvis kan en förd elaktig väg vara att utvidga användningen av
w ebbenkäter som insam lingsm etod inom sannolikhetsbaserad e
und ersökningar.
4.
Tillämpning på specifika undersökningar
SCB har fått i uppd rag att ge ett utlåtand e om lämpligheten i att utnyttja
w ebbpanelmetod ik för två specifika und ersökningar.
4.1 Swedish Tourism Survey
I d enna utred ning ingår att från kvalitetssynpunkt bed öm a d en specifika
m etod ik som tilläm pas för att ta fram av Tillväxtverket upphandlad
statistik baserad på svar från w ebbpaneler. Det rör sig om konsum entund ersökningsd ata om svenskars resand e (Sw edish Tourism Survey).
Und ersökningen levererar inte officiell statistik, m en är EU-reglerad
enligt Europaparlamentets och rådets förordning (EU) nr 692/2011 av den 6
juni 2011 om europeisk statistik om turism. Und ersökningsd ata använd s
också för prod uktion av d et nationella turistsatellitkontot, som fram ställs
av Avd elningen för nationalräkenskaper vid SCB på Tillväxtverkets
uppd rag.
23(25)
En sam m anfattand e bedöm ning av Sw ed ish Tourism Survey är att d en
inte bygger på sannolikhetsurval och att d en inte kan sägas vara genom förd m ed fullgod statistisk m etod ik. Om skattningarna ham nar någorlund a rätt eller inte är om öjligt att veta, utifrån den inform ation som
ställts till utred arens förfogand e och givet bristen på kvalitetsm ått.
Webbpanelm etod iken som använd s i und ersökningen saknar en solid
vetenskaplig grund . Inte heller em piriska resultat från forskningslitteraturen inom om rådet, se avsnitt 3.5 ovan, tyd er på att tillförlitliga resultat
kan förväntas. Tid sseriebrott kan förväntas m ot tid igare statistik inom
om råd et, som har baserats på sannolikhetsurval. Möjligen kan kom pletterand e inform ation från and ra d atakällor utnyttjas för att öka tillförlitligheten, m en d et gäller end ast för variabler d är d et finns starkt relaterad
inform ation tillgänglig. Mått på osäkerheten i d e statistiska resultaten går
inte att beräkna på ett giltigt sätt. N ågra num eriska beskrivningsm ått, i
linje m ed Surveyföreningens rekom m end ationer, bör d ock kunna tas
fram .
4.2 Entreprenörskapsbarometern
I d enna utred ning ingår att värd era om Entreprenör skapsbarom etern
skulle vara läm plig att genom föra m ed w ebbpanelm etod ik. Tillväxtverket är statistikansvarig m ynd ighet för Entreprenörskapsbarom etern.
Und ersökningen levererar inte officiell statistik och är inte heller EUreglerad . Und ersökningen har genomförts sju gånger, avseend e åren
2003–2008 och 2012. Det övergripan d e syftet m ed und ersökningen är att
få en ökad insikt om m änniskors kunskap om och attityd till företagand e
i Sverige.
En sam m anfattand e bedöm nin g av Entreprenörskapsbarom etern är att
d en, liksom d e flesta undersökningar, i nuläget inte är särskilt läm pad att
lägga över som w ebbpanelund ersökning. Ett bättre alternativ bed öm s
vara att börja m ed w ebbinsam ling, i kom bination m ed telefonintervju
eller m öjligen postenkät, d vs. att börja m ed en m ixed -m od e-ansats.
Vid are vore d et önskvärt m ed en utvid gad använd ning av hjälpinform ation i beräkningarna.
5.
Referenser
AAPOR [Am erican Association for Public Opinion Research] (2012).
A A POR statement: Understanding a “credibility interval” and how it differs
from the “margin of sampling error” in a public opinion poll. Deerfield , IL.
w w w .aapor.org.
AAPOR [Am erican Association for Public Opinion Research ] (2013).
Report of the A A POR Task Force on N on-Probability Sampling. Deerfield ,
IL. w w w .aapor.org.
Baker, R., Blum berg, S.J. , Brick, J.M., Couper, M.P., Courtright, M.,
Dennis, J.M., Dillm an, D., Frankel, M.R., Garland , P., Groves, R.M.,
Kenned y, C., Krosnick, J., Lavrakas, P.J., Lee, S., Link, M., Piekarski, L.,
24(25)
Rao, K., Thom as, R.K., och Zahs, D. (2010). Research Synthesis: AAPOR
Report on Online Panels. Public Opinion Quarterly, Vol. 74, pp. 711–781.
Bethlehem , J.G., och Biffignandi, S. (2012). Handbook of web surveys.
H oboken, N J: John Wiley & Sons, Inc.
Bethlehem , J.G., och Cobben, F. (2013). W eb Panels for Official Statistics?
Invited p aper presented at the 59th ISI World Statistical Congress, 2013,
H ong Kong, China.
Callegaro, M., Baker, R., Bethlehem , J.G., Goritz, A., Krosnick, J.A., och
Lavrakas, P.J. (ed itors) (2014). Online panel research: a data quality
perspective. John Wiley & Sons, Ltd .
Callegaro, M., och DiSogra, C. (2008). Com puting Response Metrics for
Online Panels. Public Opinion Quarterly, Vol. 72, pp. 1008–1032.
DiSogra, C., och Callegaro, M. (2009). Com puting Response Rates for
Probability-Based Web Panels. Section on Survey Research Method s –
Joint Statistical Meeting 2009.
ESOMAR [European Society for Opinion and Market Research] (2012).
28 questions to help buyers of online samples. w w w .esom ar.org.
Groves, R.M., och Peytcheva, E. (2008). The im pact of nonresponse rates
on nonresponse bias: A m eta-analysis. Public Opinion Quarterly, Vol. 72,
pp. 167–189.
ISO [Internationella stand ard iseringsorganisationen ] (2009).
Accesspaneler inom m arknad s-, opinions- och sam hällsund ersökningar
– Vokabulär och servicekrav (ISO 26362:2009, IDT).
Jansson, M., och Svensson, J. (2008). A Comparison Between Different
N onresponse A djustment M ethods Used in Some Swedish Surveys on Rare
Items. Presentation at the European Conference on Quality in Official
Statistics, 2008, Rom e, Italy. http:/ / q2008.istat.it
Lee, S. (2006). Propensity Score Ad justm ent as a Weighting Schem e for
Volunteer Panel Web Surveys. Journal of Official Statistics, Vol. 22,
pp. 329–349.
Scherpenzeel, A., och Bethlehem , J.G. (2011). H ow representative are
online panels? Problem s of coverage and selection and possible
solutions. In M. Das, P. Ester, and L. Kaczmirek (Ed s), Social and
behavioral research and the internet: A dvances in applied methods and research
strategies (pp. 105–132). N ew York: Routled ge.
Statistics Sw ed en (2012). Meeting w ith the Ad visory Scientific Board of
Statistics Sw ed en, 2–3 May 2012. w w w .scb.se
Surveyföreningen (2014). Kvalitet i webbpanelundersökningar. ISBN 978-91637-3193-8.
Svensson, J. (2013). W eb panel surveys – can they be designed and used in a
scientifically sound way? Invited paper presented at the 59th ISI World
Statistical Congress, 2013, H ong Kong, China.
25(25)
Svensson, J. (2014). W eb panel surveys – a challenge for official statistics.
Proceed ings of Statistics Canad a Sym posium 2014, Gatineau, Canad a.
Särnd al, C.-E., och Lundström , S. (2005). Estimation in Surveys with
N onresponse. John Wiley & Sons, Ltd .
Särnd al, C.-E., Sw ensson, B., och Wretm an, J.H . (1992). M odel A ssisted
Survey Sampling. N ew York: Springer-Verlag.
Tourangeau, R., Conrad , F.C., och Couper, M.P. (2013). The science of web
surveys. Oxford : Oxford University Press.
William s, J. (2012). Survey m ethod s in an age of austerity. Driving value
in survey d esign. International Journal of M arket Research, Vol. 54,
pp. 35–47.
Yeager, D.S., Krosnick, J.A., Chang, L., Javitz, H .S., Levend usky, M.S.,
Sim pser, A., och Wang, R. (2011). Com paring the Accuracy of RDD
Telephone Surveys and Internet Surveys Cond ucted w ith Probability
and N on-Probability Sam ples. Public Opinion Quarterly, Vol. 75,
pp. 709–747.