Utvecklad av Serus AB 2015‐05‐15 Konceptuell utvärderingsmodell för ett SIB‐projekt Vid utvärderingar av insatser är det centralt med en detaljerad utvärderingsmodell för att kunna uttala sig om de faktiska konsekvenserna. Det är särskilt viktigt i situationer där en aktör betalar en annan aktör för att en viss förändring ska ske, så som vid användning av en så kallad Social Impact Bond (SIB) (se exempelvis Social Finance, 2015). Detta dokument syftar inte primärt till att presenteras en sådan detaljerad modell, utan snarare en övergripande konceptuell modell som i ett senare skede med fördel konkretiseras. En viktig del i det senare är att utveckla de konkreta mätverktyg som ska användas, så som formulering av indikatorer. I slutet av dokumentet ges dock ett förslag på hur en mer konkret utvärderingsmodell skulle kunna formas i ett specifikt SIB‐projekt. I närtida forskning om organisering och styrning av sociala investeringar (se Jannesson och Jonsson, 2015) rekommenderas användningen av den så kallade beviskedjan som verktyg för att utvärdera konsekvenserna av sociala insatser. En sådana utgångspunkt är därför lämplig också för en utvärderingsmodell kopplad till en SIB, och mer konkret utifrån det specifika fall som beaktas här, nämligen Magelungens hemmasittarprogram (HSP) (se Sundberg Lax et al., 2011, för en beskrivning). I det kommande avsnittet presenteras innebörden av beviskedjan, exemplifierad med hjälp av HSP. Därefter följer ett avsnitt som beskriver den konceptuella utvärderingsmodellen, och i ett tredje och avslutande avsnitt presenteras ett mer konkret förslag kopplat till HSP. Innebörden av beviskedjan Beviskedjan, så som den presenteras här, har sin utgångspunkt i konceptet Social Return on Investment och består av sex komponenter: Insatser, aktiviteter, prestationer, effekter, påverkan samt värdeskapande (Nilsson och Hahn, 2012). Med insatser avses de resurser (tid, pengar och/eller subventioner) som används för att genomföra de aktiviteter som är tänkta att åstadkomma önskad förändring. I HSP‐fallet handlar det exempelvis om att en kommun köper en tjänst (insats) bestående av hemmarsittarprogrammet (aktivitet) för en utvald grupp ungdomar. Utifrån aktiviteterna uppstår prestationer, det vill säga kvantitativa konsekvenser av aktiviteterna. Det kan exempelvis handla om volymen mötestimmar inom programmet, antalet ogiltiga frånvarotimmar samt skolbetyget i de enskilda ämnena för respektive individ. Tanken är att prestationerna ska leda fram till effekter för individer och/eller organisationer. Effekter kan vara av socialt, miljömässigt eller ekonomiskt slag, och utgörs av förändringar som har ett värde i sig – positivt eller negativt. Utifrån HSP är exempel på positiva sociala effekter minskad ångest, ökat självförtroende samt ökad social samvaro. Miljömässiga effekter handlar exempelvis om temperaturen i atmosfären eller surhetsgrad i sjöar, vilket påverkas av exempelvis utsläpp av koldioxid som en konsekvens av transport, dator‐ eller TV‐användning samt matkonsumtion. Ekonomiska effekter handlar om ökat eller minskat över‐ eller underskott, exempelvis att underskottet för en nämnd minskar som en konsekvens av minskade kostnader för BUP då berörda ungdomar är i skolan istället för hemmasittandes. Påverkan handlar om vilken del av de skapade effekter (förändringarna) som faktiskt beror på de aktuella aktiviteterna – exempelvis HSP – och vad som beror på annat. Påverkan består av tre komponenter: kontrafaktisk situation, tillskrivning och förflyttning. Den kontrafaktiska situationen beskriver den potentiella andelen av förändringen som skulle uppstått i alla fall. Det kan exempelvis handla om att de aktuella ungdomarna skulle hamnat i ett alternativt behandlingsprogram som också skapar en del av de aktuella förändringarna. Tillskrivning handlar istället om vad det finns för parallella processer/fenomen som också bidragit till den aktuella förändringen, som inte redan beaktats i den kontrafaktiska situationen. Exempelvis att ungdomen tidigt i processen fått en partner som bidragit positivt till förändringen. Förflyttning består av två delar. Den ena fångar huruvida 1 Utvecklad av Serus AB 2015‐05‐15 individer eller organisationer tar med sig en del av förändringsprocessen in i de aktuella aktiviteterna, det vill säga om de redan påbörjat någon form av förändringsprocess som de har nytta av. Det kan exempelvis innebära att ungdomen nyligen genomgått KBT‐behandling som inte gett önskad effekt, men den har sått frön som börjar växa under HSP. Den andra delen fokuserar eventuella undanträngningseffekter, det vill säga om exempelvis en positiv förändring för en individ innebär en direkt negativ förändring för någon annan. Avslutningsvis handlar värdeskapande om vilket värde de skapade effekterna har för den som upplever dem. Värdeskapandet fångas med hjälp av så kallade monetära proxytermer (se exempelvis Fujiwara och Campbell, 2011). En sådan talar om hur mycket en (1) effekt (social, miljömässig eller ekonomisk) är värd för en (1) intressent. Genom att sedan ställa värdet av effekterna (nyttan) mot värdet av insatsen, det vill säga skapa ett så kallat SROI‐värde, erhålls en bild av huruvida insatsen ger mer värde än vad den kostar. Den konceptuella utvärderingsmodellen Vår uppfattning är att den konceptuella utvärderingsmodellen för en SIB med fördel innefattar tre nivåer med utgångspunkt i beviskedjan. Ju högre nivå, desto mer information erhålls om förändringen. Olika aktörer kommer eventuellt tycka att olika nivåer av information är ”tillräcklig” för att vara villiga att betala för uppnådd förändring, varför det finns anledning att ha en rubust och standardiserad utvärderingsmodell som ändå ger utrymme för flexibilitet i den enskilda situationen. Dessutom är olika typer av förändringar förknippade med olika svårigheter att fånga dem med mätinstrument, varför en flexibilitet i modellen är viktig. Vad som är föremål för betalning inom ramen för en SIB beror alltså på vilken nivå av utvärdering som tillämpas, samt utvärderingen i sig. Detta behöver tydligt avtalas mellan parterna. Vilka delar av beviskedjan ska då innefattas i utvärderingsmodellen? En kartläggning av insatser och aktiviteter är den centrala utgångspunkten för en SIB, oavsett karaktär. Det är innehållet i dessa som ska åstadkomma den förändring som ska utvärderas. Dessa delar bör därför hanteras separat från utvärderingsmodellen, och mer konkret som utgångspunkten i själva avtalsförfarandet mellan berörda parter. De delar som inkluderas i modellen är istället prestationer, effekter och påverkan. Nivå 1 i modellen, prestationsnivån, utgör den lägsta utvärderingsnivån. Den handlar om att utvärderingen enbart sker baserat på prestationer. Fördelen med en sådan utvärdering är att den är enkel och resurseffektiv i sin karaktär. I fallet HSP finns det en central prestation som behöver vara föremål för mätning: skolnärvaron. Att öka skolnärvaron är vad HSP till stor del handlar om; att hjälpa hemmasittande ungdomar bryta sitt mönster och kontinuerligt vara en del av undervisningen i skolan. Som framgår av Sundberg Lax et al. (2011 s. 8) är det dock inte närvaron i sig som är ”den enskilt största prediktorn för hur det går senare i livet”, utan det är godkända skolbetyg. För ungdomar som erhåller skolbetyg kan det därför vara aktuellt att även skolbetyget i sig inkluderas i utvärderingsmodellen. Att ”bara” närvara i skola betyder ju inte att andra positiva konsekvenser sker per automatik. Det kan å andra sidan diskuteras om ansvaret för skolbetyget verkligen ligger på HSP – det är trots allt skolan som står för själva undervisningen. Och har närvaronivån ökat i stor omfattning är det en tydlig indikation på att arbetet med att lösgöra individen från sina tidigare problem är långt gånget. Har individen förändrats så pass mycket är det rimligt att utfall för skolbetyg inte inkluderas i utvärderingen av HSP. För mätning av skolnärvaron handlar det således om att hitta ett lämpligt tröskelvärde, det vill säga en mål‐ och ersättningsnivå som är tillräckligt hög. Problemet med prestationer är, precis som indikeras i föregående stycke, att de inte säger något om det faktiska värdeskapandet; de berättar inte om effekter har uppstått. Nivå 2 i utvärderingsmodellen, effektnivån, syftar till att undvika detta problem. Som framgår av Sundberg 2 Utvecklad av Serus AB 2015‐05‐15 Lax et al. (201X) handlar HSP om att jobba med ungdomarnas psykiska hälsa för att genom det öka skolnärvaron, och därmed öka sannolikheten för långsiktig framgång för individen. Deras diskussion om vidmakthållandefasen, och i den vanligt förekommande återfall, indikerar tydligt att det krävs en långsiktig stabil psykisk situation för att de uppnådda prestationerna (skolnärvaro och eventuellt skolbetyg) ska upprätthållas (jämför även Bertilsson, 2013, avseende kopplingen mellan psykisk hälsa och arbetsförmåga). Mätning på Nivå 2 innefattar därför dels mätningen på föregående nivå, dels mätning av sociala effekter för ungdomarna. Utifrån de områden som diskuteras i Sundberg Lax et al. (2011) är det rimligt att effektkategorierna psykisk hälsa, fysisk hälsa, social hälsa samt egenmakt enskilt eller tillsammans utgör utgångspunkten för mätningarna. Dessa kategorier kan mycket väl komma att behöva underkategoriseras innan mätverktyg utformas. Ett tydliggörande av tröskelvärde kopplat till respektive effektområde är också nödvändigt. Det handlar då inte bara om lämplig mål‐ och ersättningsnivå för den enskilda effekterna, utan även på en mer aggregerad nivå. Om samtliga fyra effektområden tillämpas, innebär det exempelvis att en individ behöver uppleva en tydlig förändring inom samtliga fyra områden, eller räcker det med ett mindre antal? Nivå 3 i modellen, påverkansnivån, innefattar dels den mätning som beskrivs på Nivå 1 och 2, dels mätning av den kontrafaktiska situationen, tillskrivningen och/eller förflyttningen. Att mäta den kontrafaktiska situationen kan ske på olika sätt, men oavsett används vanligen en kontrollgrupp (se exempelvis SKL, 2014). För att de statistiska analyser som genomförs av utfallen i huvudgruppen och kontrollgruppen ska bli någorlunda tillförlitliga krävs en rätt stor volym av deltagare i båda grupperna. I HSP‐fallet kan det vara en utmaning då hemmasittande ungdomar är spridda över hela Sverige, medan den betalande aktören (exempelvis en kommun) bara har en liten del av dessa. Det finns dessutom anledningen att diskutera den övergripande relevansen av att mäta den kontrafaktiska situationen. Då det är svårt att hitta en tillräckligt bra kontrollgrupp till sociala insatser är det långt ifrån självklart att kontrollgruppsmätningar faktiskt säger något om vad som potentiellt skulle skett i alla fall. Kontextuella och individuella faktorer har betydelse för utfallet av en specifik insats, och dessa är svåra att kontrollera i en icke‐experimentell situation. Det kan dessutom finnas en del etiska problem med användning av kontrollgrupper. Kontrollergrupper i en SIB‐situation ska således enbart användas i situationer där det handlar om relativt stora volymer och där det med stor säkerhet finns stora likheter i de kontextuella och individuella faktorerna. I situationer där dessa kriterier inte är uppfyllda finns det anledning att antingen använda en alternativ metod i form av att fråga aktuella deltagare och personer i dess närhet (privata och professionella) om vad i den eventuella förändringen de tror skulle ha uppstått i alla fall (jämför EU‐
kommissionen, 2013), eller inte mäta den kontrafaktiska situationen överhuvudtaget. Dock är det senare enbart aktuellt i särskilt speciella fall. Att mäta tillskrivningen blir särskilt viktig i det sistnämnda fallet (att den kontrafaktiska situationen inte mäts alls). Fenomenet fångar upp en del av påverkan, och dessutom en del av det som skulle ha inkluderats i den kontrafaktiska situationen om den mätts. Tillskrivning är relevant att mäta även när kontrollgrupper faktiskt används, eller frågor om den kontrafaktiska situationen ställs till individer, om än i något mindre utsträckning. Tillskrivningen fångas med fördel genom frågor till ungdomarna, föräldrar och andra personer i dess närhet om vad de upplever ha bidragit till den eventuella förändringen. Avseende förflyttning är det inte alltid sådan existerar, oavsett om det gäller vad deltagare tar med sig in i insatsen eller eventuella undanträngningseffekter. Det blir därför särskilt viktigt att i ett tidigt skede analysera huruvida förflyttningen ska mätas eller ej, för att säkerställa att kostnaden för att 3 Utvecklad av Serus AB 2015‐05‐15 mäta förflyttningen faktiskt överstiger nyttan. I HSP‐fallet finns det förmodligen anledning att inte beakta förflyttning då det i denna typ av situationer sannolikt i finns någon förflyttning av betydande slag. Precis som för de två andra nivåerna krävs tröskelvärden i förhållande till det som mäts även på Nivå 3. Det handlar här om vilken andel av de uppmätta effekterna som totalt sett kan anses bero på HSP. Avslutningsvis finns det anledning att lyfta två saker. För det första bör utformningen av den detaljerade utvärderingsmodellen baseras på en tydligt framtagen beviskedja avseende de tänkta orsak‐verkan‐sambanden mellan insatser och värdeskapande. Den planerade beviskedjan bör baseras på teoretisk likväl som praktisk kunskap. Utifrån den planerade beviskedjan kan sedan en diskussion föras med motparterna om vilken nivå utvärderingsmodellen bör läggas på. För det andra behöver den detaljerad utvärderingsmodell ha tydliga angivelser för när i tiden mätningar ska ske, och framför allt hur långt efter insatsens avslut som den avslutande mätningen ska genomföras. Det är differensen mellan baslinjemätning och den avslutande mätningen som sannolikt ligger till grund för det totala utfallet för respektive ungdom, och därmed också för en del centrala ekonomiska transaktioner mellan inblandade parter i den relaterade SIB:en. Ett exempel på mer detaljerad utvärderingsmodell för ett SIB‐projekt kopplat till HSP I detta avsnitt ger vi ett exempel på hur en mer detaljerad utvärderingsmodell (här kallad exempelmodellen) skulle kunna se ut för en SIB kopplat till HSP. Utgångspunkten är att presentera en relativt lättanvänd modell i syfte att underlätta genomförande av en SIB. Exempelmodellen är av Nivå 2‐karaktär, det vill säga den innefattar mått som relaterar både till prestation och effekt. Vi har dessutom valt mått som redan används inom HSP för att på så sätt utnyttja redan befintliga och väl fungerande mätverktyg. För att mäta prestationer används måttet Närvaro och för att mäta effekter används måttet Livskvalitet. Valet av just dessa två är grundat på att det är dessa två aspekter som är de huvudsakliga dimensionerna som HSP fokuserar. Som framgår av föregående avsnitt är elevernas närvaro den centrala parametern i programmet och den är därför viktig att ha med. För att säkerställa närvaronivå är elevernas psykiska mående den primärt påverkande faktorn. Genom att då inkludera ett övergripande mått som Livskvalitet är det möjligt att på ett resurseffektivt sätt fånga detta mående på en aggregerad nivå. Mått av motsvarande karaktär är dessutom vanligt förekommande i mätningar av människors välmående i en rad olika sammanhang. Närvaro mäts vid totalt tre tillfällen: vid behandlingens början respektive slut, samt nio månader efter behandlingens avslut. Närvaron mäts genom att från den aktuella mätpunkten titta tre veckor tillbaka i tiden och där räkna den procentuella närvaron. Den aktuella skolan tillhandahåller informationen utifrån sin ordinarie närvaroregistrering. Livskvalitet mäts vid samma tre tillfällen som Närvaro. Den indikator som används är verktyget Livets stege. ”Livets stege är ett enkelt sätt att mäta hur man ser på sin livssituation samt hur man uppfattar möjligheter till förändring av sitt liv. Man skattar på en skala från 1‐10 hur bra livssituationen var för ett år sen, hur bra den är idag och hur bra man tror den kommer vara om ett år” (Sundberg Lax et al., 2011, s 58). Den aktuella eleven gör skattningen på egen hand i särskilt formulär. Som nämnts tidigare är formuleringen av tröskelvärde för respektive mått viktigt. Tröskelvärdet i detta fall formuleras som differensen mellan utfallet vid behandlingens början och utfallet nio månader efter behandlingens slut. För Närvaro innebär det att den procentuella närvaron ska ha 4 Utvecklad av Serus AB 2015‐05‐15 förändrats X procent, medan det för Livskvalitet innebär att skattningen den aktuella dagen ska ha förändrats minst Y steg på skalan 1–10. Ett alternativ är att enbart beakta utfallet nio månader efter behandlingens slut och formulera ett X‐ respektive Y‐värde för dessa mätpunkter. Ett bra utfall för en specifik elev, det vill säga utvecklingen är så pass god att finansiären får full avkastning utbetald från kommunen, innebär att både X och Y är uppfyllda. Magelungen har sedan en tid samlat in data som kan användas som utgångspunkt för att fastställa X och Y, men med fördel skapas en grupp av experter inom psykisk hälsa från olika organisationer för att slutligt fastställa vad som är att betrakta som en rimlig nivå för dessa två. Denna grupp bör även vara med och påverka huruvida X‐respektive Y‐värde ska formuleras generellt (de gäller för samtliga elever i den aktuella kommunen) eller för varje enskild individ (olika värden användas för olika individer). Föregående stycke fokuserar alltså utfall som är att betrakta som bra, och där finansiären således får full avkastning. Det vore dock olyckligt med en utvärderingsmodell som är digital, det vill säga att finansiären erhåller allt eller inget. Exempelmodellen innefattar därför en fallande skala av tröskelvärden för X och Y. Det krävs expertkompetens om psykisk hälsa och HSP för att kunna uttala sig om lämpliga nivåer för dessa, men utgångspunkten skulle exempelvis kunna vara följande: X och Y = 100 procent avkastning för finansiären X2 och Y2 = 80 procent avkastning för finansiären X3 och Y3 = 60 procent avkastning för finansiären X4 och Y4 = 40 procent avkastning för finansiären Ett fastställande av en lägsta godkänd nivå för elevernas utveckling avseende Närvaro och Livskvalitet blir således viktigt. Utifrån det kan modellen sedan innefatta en eller flera ersättningsnivåer upp till det primärt formulerade tröskelvärdet, det vill säga vad som är att betrakta som ett bra utfall (X och Y). Referenser Bertilsson, M., 2013, Work capacity and mental health – the phenomena and their importance in return to work, Avhandling , Salgrenska akademin vid Göteborgs universitet EU‐kommisionen, 2013, Evalsed Sourcebook – Method and Technigues, EU‐kommissionen: Bryssel. Fujiwara, D., Campbell, R., 2011, Valuation techniques for social cost‐benefit analysis: Stated preference, revealed preference and subjective well‐being approaches – A discussion of the current issues, HM Treasury, Department for Work and Pensions, London. Jannesson, E. och Jonsson, R., 2015, Organisering och styrning av sociala investeringar, Sveriges Kommuner och Landsting: Stockholm. Nilsson, E. och Hahn, G., 2012, SROI – Social Return on Investment: Innebörd & Tillämpning, SERUS: Linköping. SKL, 2014, Guide för effektutvärdering av sociala investeringsprojekt, Sveriges Kommuner och Landsting, Stockholm. 5 Utvecklad av Serus AB 2015‐05‐15 Social Finance, 2015, Introduction to Social Impact Bonds, hämtad 2015‐03‐06: http://socialfinance.westgatecomms.com/wp‐content/uploads/2014/07/Introduction‐to‐Social‐
Impact‐Bonds.pdf Sundberg Lax, I., Palmér, R., Friberg, P., Khoso, M. och Lindgren, T., 2011, HSP – Magelungens Hemmasittarprogram: Manual för behandlare, Magelungen Utveckling AB: Stockholm. 6