Evaluering af Tidlig
Indsats – Livslang
Effekt
Uddybende beskrivelse af evalueringen af 7
indsatser
Indholdsfortegnelse
Evaluering af 7 indsatser .............................................................................. 3
Implementering................................................................................................................................................. 3
Effekt ...................................................................................................................................................................... 3
Økonomi ............................................................................................................................................................... 4
Februar 2015
Socialstyrelsen
Edisonsvej 18, 1.
5000 Odense C
Tlf: 72 42 37 00
E-mail: [email protected]
www.socialstyrelsen.dk
2
Evaluering af 7 indsatser
Oxford Research og KORA skal i samarbejde med CEBR og med
underleverandøren EG A/S evaluere 7 indsatser under ”Tidlig Indsats – Livslang
Effekt”: De Utrolige År Baby, De Utrolige År Småbørn, De Utrolige År Dagpleje, De
Utrolige År Vuggestue, De Utrolige År Børnehave, VIDA (Vidensbaseret indsats over
for udsatte børn i dagtilbud) samt Model for tidlig opsporing.
Implementering
Implementeringsevalueringen bidrager både til fortolkningen af effekter og er
samtidigt et helt centralt selvstændigt evalueringsbidrag, der både identificerer
indsatsernes interne og eksterne faktorer med enten hæmmende eller fremmende
indvirkning på implementeringsgraden. Evalueringsmodellen bygger bl.a. på
forskning inden for implementering og transfer. Herfra ved vi, at der er mange
elementer, som bør studeres nærmere for at afgøre, om der er tale om et succesfuldt
kompetenceudviklingsforløb og en loyalt implementeret indsats (implementering med
fidelitet).
Implementeringsevalueringen designes med blik for hver enkelt indsats. For hver
indsats gennemføres en forandringsteoretisk analyse i samråd med eksperter, så vi
sikrer, at evalueringen bygger oven på den eksisterende viden. Den
forandringsteoretiske analyse af hver indsats bidrager til at fastsætte
implementeringsindikatorerne for den enkelte indsats. Samtidig vil vi inddrage
generiske, tværgående implementeringsindikatorer på tværs af indsatserne, bl.a. fra
de deltagende kommuners parathedsanalyser. Dermed vil implementeringsevalueringen have blik for både tværgående, generiske og indsatsspecifikke
empiriske evalueringsspørgsmål.
De centrale datakilder til implementeringsevalueringen består af både kvantitative
implementeringsfaktorer og kvalitative casestudier med observationer og interviews
hos et større antal udvalgte organisatoriske enheder.
Derudover sigter implementeringsevalueringen mod at skabe både formativ, løbende
læring og processtøtte ved at kommunikere klart og tydeligt med de deltagende
kommuner og organisatoriske enheder. Vi skaber tydelige guidelines for
implementeringen, afholder netværksmøder og understøtter processen med en
implementerings-hotline og et velfungerende og underbyggende datasystem, der
giver projekterne mulighed for at få let tilgængelig indsigt i egne data og processer.
Effekt
Effektmålingerne er designet så de dels når det højest mulige evidensniveau, for
derved bedst muligt at kunne knytte årsag-virkningsfortolkninger til målingerne, og
dels så de kan kombineres med forandringsteorianalysens kernelementer og
implementeringsanalysen. Effektevalueringen skal både måle indsatsernes effekter
med et fælles tværgående instrument og måle udvalgte indsatsspecifikke outcomes.
3
Der udføres derfor tværgående effektmålinger på flere måder:
•
•
•
•
Børnenes adfærdsproblemer måles med af ét fælles instrument på tværs af
alle indsatser og forebyggende foranstaltninger (SEAM)
Børnenes adfærdsproblemer måles med registeroplysninger om
forebyggende foranstaltninger, specialtilbud og anbringelser
Effekterne for forældre måles med et fælles instrument på tværs af de
forældrerettede indsatser (PSS)
Effekterne for de fagprofessionelle måles med antal og alder ved opsporing
samt et fælles instrument på tværs af de institutionsrettede indsatser
Brugen af tværgående instrumenter for flere af indsatserne giver mulighed for
sammenligninger på tværs af indsatser med samme målgruppe. Til måling af
progression hos de berørte børn anvendes Social Emotional Assessment Measure
(SEAM). SEAM er et ny-udviklet instrument, der pt. bliver valideret af Rambøll i en
dansk version i forbindelse med evaluering af ”Fremtidens dagtilbud”. Der er opnået
gode erfaringer ift. personales anvendelse, den er nem at forstå og
ressourceorienteret.
Til måling af forældrekompetencer i de to forældrerettede indsatser anvendes
Parenting Stress Scale (PSS). Den er internationalt anerkendt, findes på dansk, har
gode psykometriske egenskaber og er blandt de anbefalede i Socialstyrelsens liste
over validerede instrumenter i forhold til måling af forældreadfærd. PSS suppleres
med spørgsmål til forældrenes self-efficacy, da det er et centralt omdrejningspunkt i
flere af indsatserne.
Designet af effektmålingerne optimerer muligheden for at opnå valide
dataindsamlinger med størst mulige præcision, robusthed og statistisk styrke. Vi
foretager kvantitative effektmålinger med et før-efter design med
sammenligningsgrupper (difference-in-difference design) for alle indsatserne.
Sammenligningsgrupperne består af børn fra de rekrutterede kommuner, som ikke
får indsatsen, men får ”treatment as usual” (TAU).
Økonomi
Viden om indsatsers ressourceeffektivitet er en væsentlig del af
beslutningsgrundlaget for kommuner, der i fremtiden overvejer at implementere en
eller flere indsatser. Den økonomiske evaluering belyser derfor, hvad det koster at
drive og implementere indsatserne i en kommunal kontekst, og dokumenterer
indsatsernes ressourceeffektivitet. Derudover vil også de samfundsøkonomiske
konsekvenser af indsatserne blive belyst.
Vi vil derfor foretage tre typer af analyser:
• En opgørelse af kommunale omkostninger forbundet med drift og
implementering af indsatserne
• Budgetøkonomisk opgørelse af konsekvenser for kommunale og statslige
kasser
• En cost-effectiveness analyse med samfundsøkonomisk perspektiv
Opgørelsen af omkostninger kan med fordel opdeles i henholdsvis
implementeringsomkostninger og driftsomkostninger. Opgørelsen af de forskellige
omkostninger baseres på:
• Omkostningsdagbøger
• Løndata
4
På baggrund af de indsamlede omkostningsdata beregnes enhedspriser for de
forskellige indsatsers etablering og drift. For alle indsatser opgøres enhedspriserne
som omkostninger pr. barn pr. forløb, så omkostningerne ved de forskellige indsatser
kan sammenlignes.
For at kunne vurdere omkostningseffektiviteten af indsatserne i
forebyggelsespakken, er det nødvendigt, at de kommunale omkostninger til
’Treatment-as-usual’ (TAU) også estimeres.
Omkostninger til alternative indsatser estimeres i 4 skridt:
1. Kortlægning af alternativer via telefoninterviews med centrale
ledelsesrepræsentanter i 10 indsatskommuner.
2. For hver alternativ indsats indsamles oplysninger om ressourceforbrug til hhv.
implementering og drift via interviews med kommunerne. Der
gennemføres en interviewdag i hver af de 10 kommuner, hvor oplysninger
om alle alternative indsatser så vidt muligt indsamles fra de forskellige
indsatsers projektledere.
3. Det oplyste ressourceforbrug fra interviewene suppleres med oplysninger om
gennemsnitslønninger fra KRL og overheadsats, og på denne baggrund
beregnes enhedspriser for hver af de alternative indsatser opgjort som
omkostning pr. barn pr. forløb.
4. Herefter indhentes oplysninger fra kommunerne om, præcis hvilke børn der
modtager de forskellige alternative indsatser, som tilbydes i den enkelte
kommune. På baggrund af disse oplysninger, samt de estimerede
enhedspriser for de alternative indsatser, opgøres omkostningsniveauet
for børnene i de forskellige TAU-grupper.
Opgørelsen af ressourceeffektiviteten i vores cost-effectiveness analyse udgøres af
flere elementer. De væsentligste offentlige input vil være efteruddannelse og
arbejdstid for fagprofessionelle. Effekter for børn og forældre forventes på kort sigt at
være ændringer i børnenes adfærdsproblemer og forældrekompetencer samt
forældre-barn relationer. Effekter for det offentlige er på kort sigt faglige kompetencer
samt ændret brug af forebyggende indsatser og specialtilbud. På lidt længere sigt
kan det forventes, at indsatserne – via de kortsigtede effekter for børnene – har
betydning for børnenes brug af sundhedsydelser samt på anbringelser af børn og
unge. Disse effekter sammenholdes med de opgjorte omkostninger. Der
præsenteres både en samlet samfundsøkonomisk evaluering samt en specifik
opdeling af hvilke gevinster og omkostninger, der tilfalder kommuner, stat og
borgere.
5