Ændringer over tid - sammenfald eller sammenhæng?
Anders Holm, Sociologisk Institut, Københavns Universitet og SFI –
Det Nationale Forskningscenter for Velfærd
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
1
Livet er komplekst…..
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
2
I stedet for at opnå en udtømmende forklaring på y – fx ledighed
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
3
….. Kan det være mere lønsomt at se på om der overhovedet er en
sammenhæng mellem et bestemt x og y
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
4
Lodtrækninsforsøg – derfor ingen forskel i
udgangspunktet
Effects of the perry pre-school project
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
5
Ikke eksperimentelt alternativ: difference in difference metoden
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
6
Hvad er det egentligt for et problem DID metoden løser?
I fravær af lodtrækning kan man ikke være sikker på at dem
der deltager i interventionen er sammenlignelige med dem
der ikke deltager. Der kan være forskelle
- På udgangspunktet
- På udviklingen over tid
- DID løser det første problem men ikke det sidste
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
7
Det super smarte ved DID er at man ikke engang behøver et rigtigt panel!
”T” is the treatment indicator
Effect of the intervention
Measures the difference
between treated and non
treated before treatment
(selection effects)
yit   00   01  Ti   10  t it   11  t it  Ti  eit
Measures change across
time common to both
treated and controls
Evaluering af DID’s egenskaber i forhold til et lodtrækningsforsøg
Application: Two magnet schools in New Haven.
Maget schools: better teachers, ………
Test
score,
6th grade
Magnet
school
Test score,
8 th. grade
lottery
other
school
Test score,
8 th. grade
Causal effects estimates based on RCT
Pretreatment
outcomes
Causal effects based on non-experimental group. Establishing
the control group
Comparison group 1 consists of non-magnet school students
from districts where treatment-group students reside.
Comparison group 2 consists of students from districts
outside of the Hartford metro area who are similar to
treatment-group districts on ethnic composition, percent freelunch, and percent achieving goal on statewide math and
reading tests.
Comparison group 3 consists of students from districts in the
Hartford metro that do not participate in inter-district
magnet
schools.
Ikke helt kosher…..
Når man betinger på den afhængige variabel I første periode indfører
man pr. definition endogenitets bias:
Hvis det er en model vi tror på:
y1  a  bT   y0  e1
(1)
Så er det næsten nødvendigt også at tro
på den her:
y0  a   y1  e0
(2)
Hvis der mangler en vigtig forklarende variabel i begge modeller (det gør
der jo næsten altid – har vi fx husket at spørge om hårfarve og
musiksmag)
Så er e0 og e1 korreleret – og så er y0 pr definition korreleret med e1 – og
så er almindelige regressionsestimater af effekten af y0 biased. Hvis y0 og
T er korreleret – hvad vi jo tror de er, eller behøvede vi jo ikke at
kontrollere for y0 – så er forplanter bias fra den estimerede effekt af y0 sig
den estimerede effekt af T – altså – teoretisk set, så er kontrol med
laggede afhængige variabler et catch 22 – damned if you do and damned
if you don’t.
DID er – akademisk set – en mere politisk korrekt procedure – men i
praksis er forskellen måske ikke så stor.
Bonusinfo: Bias = den estimerede regressionskoefficient er ikke lig den
koefficient vi gerne vil kende værdien af!
Survey Selskabet, Forløbsundersøgelser,
paneler, kohorter og metoder
16