Effekter i praktiken Gustav Petersson Vad är en effekt? Kausalitet • “Causation. The relation between mosquitos and mosquito bites. Easily understood by both parties but never satisfactorily defined by philosophers or scientists.” Michael Scriven 3 Kausalitet som lagbundenhet David Hume: Kriterier för en kausal relation: • Orsaken föregår effekten • Närhet mellan orsak och effekt • Orsaken alltid följs av effekten • Naturlagar • Orsaksförklaringar • Effekten alltid föregås av orsaken • Definiera orsak och effekt Problem: Lagar i samhället? • Popper: Svårare isolera faktorer i samhället än i naturen, men ingen artskillnad • Mackie: En orsak definieras av ett sammanhang • En mer inkluderande definition? Kausalitet som ändrad sannolikhet 1970-talet, Patrick Suppes, Wesley Salmon: • Orsaken förändrar sannolikheten för effekten Problem: • Statistiska lagar i samhället? • Simpsons paradox • Effekt eller nettoeffekt? Kausalitet som verkande mekanismer 1970-tal, Kritisk realism (Bhaskar): • Kausalitet är verkande mekanismer mellan orsakeffekt • Kausalitet är inte bara korrelation. • Varför observerar vi samband? • Kan i samhället förändras över tid Problem: • Mekanismer är inte direkt observerbara. • Observera och tolka beteende som uttryck för mekanismer • Fråga aktörer om mekanismer Kausalitet som kontrafakticitet I 1970-talet, David Lewis • Kausalitet definieras av vad som inte är sant (kontra-faktiskt) • En effekt är den skillnad som avsaknaden av orsaken hade medfört Kontrafaktisk utveckling? Insats Effekt Faktisk utveckling Vilket är det kontrafaktiska scenariot till orsaken? • Ingen insats? • En modifierad insats? • En annan insats? • Någon annans insats? • Kausalitet kan alltså gälla en fallspecifik relation • Den fria viljan • Ändamålsförklaringar • En variant av denna teori är utgångspunkten för experiment Problem: • Avsaknaden av orsaken hade kunnat starta en alternativ process (Preemption) 4 olika fokus • Lagbundenhet • Förändrad sannolikhet • Verkande mekanismer • Kontrafakticitet Val av upplägg Först; • Var tydlig med kunskapsintresset – programteori! Sedan; • Välj ett upplägg – ett övergripande tillvägagångssätt som möjliggör slutsatser om effekter Upplägg är inte allt • Valet av upplägg säger inte hur data ska samlas in • eller vilka data som ska samlas in • Valet av upplägg säger inte hur data ska analyseras eller presenteras 19 Gradering av vetenskaplig säkerhet (5) (4) (3) (2) (1) randomisering mellan program och kontroll, för- och eftermätning med kontrollgrupp och statistisk kontroll för andra förklaringsvariabler, för- och eftermätning med kontrollgrupp men utan statistisk kontroll, för- och eftermätning utan kontrollgrupp och Sambandsstudier Randomiserade experiment I • Antar att en grupp individer kommer påverkas lika av en viss insats • Slumpmässig indelning på experiment- och kontrollgrupp • Insatsen genomförs i experimentgruppen • Slumpmässigheten skyddar mot systematiska skillnader: kontrollgruppen representerar därmed det kontrafaktiska tillståndet 21 22 Randomiserade experiment II? MEN: • Måste väljas innan insatsen genomförs • Kan vara resurskrävande. Är ett sådant tillvägagångssätt nödvändigt? 23 Kvasiexperimentella upplägg Exempel: • Matchad kontroll: kontrollgruppen väljs utifrån vissa egenskaper, inte slumpmässigt • Reflexiv kontroll: experimentgruppen är sin egen kontrollgrupp • Skuggkontroll: någon med särskilda insikter uppskattar det kontrafaktiska tillståndet 24 Lördagsöppet på systemet • Leder lördagsöppet på systemet till större alkoholförsäljning, mer misshandel och mer rattfylleri? • År 2000 infördes lördagsöppet i 3 svenska län • 7 utvalda svenska län utgjorde kontrollgruppen • Jämförelsen visade att försäljningen ökade med 3 procent • Övriga effekter inte statistiskt säkerställda Exemplet jobbskatteavdraget ”Att utvärdera jobbskatteavdraget är dock förknippat med vissa svårigheter. Eftersom alla med arbetsinkomst är berättigade till jobbskatteavdraget saknas det en kontrollgrupp, dvs. en grupp som inte berörs av jobbskatteavdraget, vilket försvårar jämförelser.” (Budgetprop. 2011/12:1:51) 26 Kvasiexperimentella upplägg Exempel: • Matchad kontroll: kontrollgruppen väljs utifrån vissa egenskaper, inte slumpmässigt • Reflexiv kontroll: experimentgruppen är sin egen kontrollgrupp • Skuggkontroll: någon med särskilda insikter uppskattar det kontrafaktiska tillståndet 27 Fortbildning av lärare ”… föreslå hur en långsiktig utvärderingsmodell kan utformas för att följa och bedöma skolans resultat i förhållande till kunskapsmålen och dess samband med satsningen på fortbildning av lärare.” “Statskontoret gör bedömningen att en effektutvärdering för tillfället inte är möjlig eftersom en sådan förutsätter att det finns tillgång till resultatdata över tid och individdata för att kunna koppla ihop lärare och elev.” 28 Kvasiexperimentella upplägg Exempel: • Matchad kontroll: kontrollgruppen väljs utifrån vissa egenskaper, inte slumpmässigt • Reflexiv kontroll: experimentgruppen är sin egen kontrollgrupp • Skuggkontroll: någon med särskilda insikter uppskattar det kontrafaktiska tillståndet 29 IFAU: 1992 års skolvalsreform I • ”Målet var att öka valfrihet och konkurrens offentliga skolor emellan och att dessutom öppna för etablering av friskolor med offentlig finansiering.” • ”Projektets huvudsyfte har varit att mäta effekterna av skolvalsreformen på elevernas resultat, det vill säga att isolera ett orsakssamband.” • ”Tanken är att de elever som bor nära många skolor i hög grad påverkades av skolvalsreformen, eftersom de fick möjlighet att välja mellan många skolor utan att åka särskilt långt. Elever som ändå bara hade en skola nära hemmet påverkades i praktiken inte, eller åtminstone i mindre utsträckning” • ”Effekten av skolvalsreformen blir således lika med utfallet bland elever med många skolor i närheten efter reformen, minus motsvarande bland elever med många skolor i närheten före reformen.” IFAU: 1992 års skolvalsreform II • ”Denna enkla före-efter-jämförelse tar dock inte hänsyn till att utfallet bland elever kan ha förändrats över tiden, på grund av andra orsaker än skolvalsreformen. [---] [V]i kan använda [elever som inte har nära till många skolor] för att kontrollera för förändringar i elevernas resultat över tiden som inte beror på skolvalsmöjligheterna. Rent praktiskt görs detta genom att vi drar ifrån före-efterskillnaden i elevresultat bland eleverna som inte bor nära många skolor, från före-efter-skillnaden i elevresultat bland eleverna som bor nära många skolor.” Är experiment bäst? • Evidensrörelsen: • experiment ger störst noggrannhet: • visar vad som fungerar: • detta är huvudsaken. • Donald Campbell: intern validitet Är experiment bäst? MEN; • Argumenten mot kontrafakticitetsteorin träffar även randomiserade experiment • Kombinationen experiment och statistiska metoder fångar inte mekanismer • För att kunna använda resultaten måste vi veta varför det (inte) fungerar Fånga mekanismer • Pawson: Mekanismer i: • Målgruppen • Kontexten • För detta är experiment illa lämpade Förstå variationen! “Striking an average over diverse phenomena is almost never enough; the task is to understand the diversity.” • Cronbach 1982, s. 295. Does it work? ”The traditional ´does it work? ´question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why.” Pawson Inget överlägset tillvägagångssätt: ”[E]valuations should not be cast in a single mold. For any evaluation, many good designs can be proposed, but no perfect ones.” • Cronbach 1982, s. 2. Fallstudier • Robert Yin: en studie som väljer ut få fall för att på djupet förstå varför och hur ett samband uppstår • Vanlig uppfattning: Inte lika strikta procedurer som experiment, men kan användas för hypotesgenerering eller för kritiska test • Evidensrörelsen ser det som en nackdel: fallstudier mindre pålitliga • Nancy Cartwright: Argumentet är inte giltigt: Skillnaden mellan induktion och deduktion • Fångar olika upplägg samma kunskap? Är de jämförbara? Våra slutsatser I 1. Det finns starka argument både för och mot olika teorier om kausalitet 2. Evidensdebattens olika upplägg för effektmätning vilar på olika teorier om kausalitet; de genererar olika kunskap 3. I evidensdebatten beaktas detta sällan; uppläggen ses som mer eller mindre bra alternativ 4. Vi betraktar de omdebatterade uppläggen snarare som komplement än som alternativ: • • inget av de debatterade uppläggen kan fånga alla aspekter av kausalitetsbegreppet valet av upplägg beror på vad vi visste från början