SVUF konferens 2011 Den goda utvärderingen: trovärdig, användbar, etisk och effektiv Uppdaterat 2011-10-17 PROGRAM Försessioner 19 okt Lokal Förmiddag 09.00 - 12.00 12.00- 13.00 Eftermiddag 13.30 - 17.00 Försession 1. Försession 2. Försession 3. Försession 4. Evert Vedung María Bustelo, Ann-Charlott Callerstig, Christina Ehneström Lena Lindgren och Cornelia Björk Thomas Delahais Arkaden Utvärderingens elementa LUNCH Fortsättning Riddarsalen Genusmedveten utvärdering LUNCH Fortsättning Galleriet Programteori i utvärdering LUNCH Fortsättning Fogelströmsr. Analys av bidragande orsaker som ett sätt att fånga effekter LUNCH Fortsättning 20 SVUF konferens 2011 - Dag 1 okt 09.00-09.30 Registrering och kaffe 09.30-09.45 Konferensen öppnas, inledningsanförande 09.45-10.45 Professor Jennifer Greene och Professor Helen Simons, Dialogue with international perspectives on evaluation quality 10.45-11.15 Kaffe 11.15-12.00 Professor María Bustelo, Engendering evalution as a way to improve quality 12.00-12.15 Inledning till Open space 12.15-13.30 LUNCH 13.30-14.30 Open space om kvalitetsfrågor 14.30-15.00 Kaffe 15.00-16.00 Open space om kvalitetsfrågor 16.00-16.15 Paus 16.15-17.00 Docent Thomas Anderberg, Kritik som grunden för utvärderande omdöme 17.00-18.00 Mingel och drink före maten 18.00-21.00 Middag 21 okt SVUF konferens 2011 - Dag 2 08.30-09.30 Professor Nils Brunsson. Våra förhoppningar kring utvärderingsfenomenet 09.30-10.00 Kaffe och poster session 10.00-12.00 Parallella sessioner Tema: “Kvalitet i en utvärdering” 1.1 Hur beställer man en bra utvärdering? Moderator Tommy Jansson Peter Stern Joakim Tranquist Millesrummet Arkaden Galleriet Lokal 1.2 Programteori och kvalitet 1.4 Följeforskning, lärande och kommunikation 1.5 Vad är god kvalitet i utvärdering? 1.6 Den förändrade utvärderarrollen - oberoende bedömare eller medspelare? Christina Ehneström Verner Denvall Elisabeth Bylund Riddarsalen Fogelströmsr. Poseidon LUNCH 12.00-13.00 13.00-14.00 1.3 Att skriva en bra rapport Evaluation and other ways to support policy decisions - the quality challenge. Introductions by Jennifer Green and Helen Simons, comments by Jan-Eric Furubo, Anders Hanberger and Lena Lindgren. Moderator Kim Forss. 14.00-15.50 Parallella sessioner Tema: “Kvalitet i utvärderingssystem” 2.1 Utvärdering som samhälligt fenomen - vad har hänt, vart är vi på väg? 2.2 Fristående utvärderingsmyndigheter 2.3 Utvärderingskulturer - finns de och hur utvecklas de? 2.4 Att bygga upp utvärderingssystem i organisationer 2.5 Kvalitet i socialt arbete . vad är det värt, kan det mätas? 2.6 Medborgarperspektiv och användbarhet i utvärderingar Moderator Lokal Jan-Eric Furubo Riddarsalen Rolf Sandahl Arkaden Barbara Befani Fogelströmsr. Evert Vedung Galleriet Verner Denvall Millesrummet Erik Peurell Poseidon 16.00-17.00 Konferensen avslutas + after-SVUF-mingel Försessioner Utvärderingens elementa. Professor Evert Vedung Försessionen vänder sig till dig som vill få en allmän orientering i vad utvärdering är och vilka frågor som ställs och belyses i utvärdering. Försessionens styrka ligger i helhetsbilden och systematiken. Sessionen inleds med en bestämning av ”utvärdering”. Begrepp som ex ante, ex post, formativ, summativ, enkel uppföljning, kvalificerad uppföljning, utredning och avstämning gås igenom. Särskild vikt fästes vid evidensbaserade angreppssätt, dvs. randomiserade dubbelblinda experiment och systematiska kunskapssammanställningar av sådana studier. Utmärkande för den nyliberala vågen är förvaltningsförnyelse genom mål- och resultatstyrning, utkontraktering, beställareutförare, brukarorientering och myndighetssamverkan. Även det nu pågående intresset för ongoing evaluation (löpande utvärdering, följeforskning) kommer att uppmärksammas. Användning av interventionsteorier (programteorier) anses vara en uppfinning gjord i utvärderingsbranschen. Den kan läggas till grund för utvärderingsmodeller som måluppfyllelseutvärdering, bieffektsutvärdering, brukarorienterad utvärdering, intressentmodellen, ekonomiska modeller samt självvärdering och kollegebedömning. Effektfrågan inklusive uppläggningar för att belysa den berörs. Sessionen behandlar slutligen olika typer av användning av utvärdering - instrumentell, konceptuell, legitimerande, interaktiv och rituell användning. Även inom biståndsutvärdering är jämställdhet så gott som alltid en viktig aspekt av såväl genomförande som utvärdering av effekter. På den här försessionen presenteras teoretiska utgångspunkter för att förstå jämställdhetsfrågor och praktiska exempel på hur utvärderare kan lägga upp undersökningar och utforma datainsamling för att belysa jämställdhet. Vi arbetar i seminarieform med kortare föreläsningar som inspirerar till gruppdiskussioner kring frågor om kvalitet och genusmedveten utvärdering, normkritik och toleransproblematik, beställarkompetens samt praktiska tillämpningar såsom programlogik och 3R. ”Analys av bidragande orsaker” som ett sätt att fånga effekter. Thomas Delahais Under senare år har det utvecklats en metod för effektbedömning som kallas ”Contribution Analysis”. Den är ett sätt att handskas med komplexitet i utvärdering av politikområden. Grundtanken är att enkla kausala analyser inte är relevanta som modeller för att fånga samband mellan komplexa interventioner och vad som kan förväntas – eller hoppas – bli effekter. Jacques Toulemonde och Thomas Delahais har lett en stor del av forskningen på området och har tillämpat det inom många av EU’s policyområden. De kommer att presentera bakgrund och teori till ”Contribution Analysis”, ge en översikt över hur metoden används av olika organisationer, Utvärdering med programteori. särskilt inom EU kommissionen, samt att leda deltagarna Lena Lindgren och Cornelia Björk genom praktiska exempel. Den här försessionen kommer att Programteori är för många ett viktigt hjälpmedel att komma fram genomföras på engelska. till en bedömning av det utvärderade objektet. Programteori hjälper utvärderare att fastställa avsikter och kartlägga en kedja av insatser som leder fram till delmål och mål. Programteorin underlättar för utvärderaren att se olika förutsättningar för att interventioner ska bli framgångsrika, och även att identifiera det som kan vara svaga länkar i kedjan från planering till resul-tat. Under den här försessionen presenteras programteorins utgångspunkter och förutsättningar, och därefter arbetar gruppen med fallstudier i programteori. Du får praktisk övning i att lägga upp Genusmedveten utvärdering. María Bustelo, en utvärdering med hjälp av programteori, och sedan diskuteras Anne-Charlott Callerstig och Christina Ehneström användning av olika metoder som del av programteorin. Lena Olika aspekter av jämställdhet är ofta föremål för utvärderingar Lindgren och Cornelia Björk går igenom praktiska erfarenheter och frågor om genus och jämställdhet är viktiga perspektiv i alla av att använda programteori och redogör för metodens starka utvärderingar. EU-finansierade satsningar ska t.ex. behandla så och svaga sidor. Det kommer att beredas möjlighet för deltakallade ’cross-cutting issues’ varav jämställdhet är en. garna att ta med egna exempel för diskussion. Parallella sessioner Session 1.1 Hur beställer man en bra utvärdering? Session 1.3 Att skriva en bra rapport. Session 1.5 Vad är god kvalitet i utvärdering? Ett ofta förekommande problem är att beställaren inte ser att utvärderingen ger svar på de frågeställningar han ville ha belysta. Omvänt kan det inträffa att utvärderaren upplever att beställaren haft orimligt höga förväntningar på vad uppdraget faktiskt kan åstadkomma givet de begränsningar (tid, budget) som funnits. Beställare och utförare har helt enkelt ofta, var och en utifrån sitt perspektiv, olika syn på vad en “bra utvärdering” är eller bör vara. Ett paper skrivit av Kajsa Rosén och Olov Wolf-Watz ramar in en paneldebatt med deltagande från författarna och erfarna beställare och utförare av utvärderingar för att diskutera vad som kan gå fel och hur man kan undvika eller förebygga detta redan i beställningen och därmed skapar förutsättningar för en bra utvärderingsprocess. Diskussion med Joakim Tranquist, Karolina Hulterström och Margareta Groth. Frågan är om det är möjligt att enas om var gränsen går mellan den kvalitativt goda och den bristfälliga utvärderingen? Detta är en fråga som är väsentlig för såväl användare, som beställare och inte minst för utvärderare: hur ska ribban sättas och av vem? Denna fråga debatterades under vintern i pressen med anledning av en utvärdering om mobbning som publicerades av Skolverket. En grupp kritiker tog till orda och menade att utvärderingen var ovetenskaplig och de undrade bland annat varför befintlig kunskap om mobbning inte kom till användning. Vi tror att detta på ett utmärkt sätt illustrerar olika synsätt på utvärdering. Under sessionen kommer Skolverkets utvärderare och deras kritiker att utveckla argument kring metodval och bias och frågan om god eller dålig kvalitet lyfts även till en ordentlig diskussion bland sessionens deltagare. Session 1.2 Programteori och kvalitet. Programteori är en metod som utvecklats av forskare inom utvärderingsområdet i syfte att förstå naturen och logiken hos ett objekt som är föremål för utvärdering. Den är, som någon påpekat, inte utvärderingsforskningens enda bidrag till samhällsvetenskapen men sannolikt det främsta. Ett första steg är att rekonstruera de orsakssamband som en verksamhet vilar på, vilka som ofta bara är underförstådda; gör man A så händer B, och det för i sin tur med sig C och D. En programteori kan därefter användas på många olika sätt, t ex för planering av utvärdering, som grund för att utveckla eller förbättra ett uppföljningssystem, eller helt enkelt för att skapa en gemensam förståelse för en verksamhet. I denna panel presenteras och diskuteras med hjälp av praktiska exempel några av programteorins användningsområden. De allra flesta utvärderingar dokumenteras i en rapport. Samtidigt är begreppet ”hyllvärmare” väl känt bland utvärderare – visst är det något vi alla försöker undvika? Hur lyckas man skapa en bra rapport som verkligen läses och når fram till mottagaren? Och hur stor del av en god utvärdering bygger på att rapporten är bra? Sessionen inleds med presentationer och samtal mellan Laura Hartman, forskningschef på SNS och erfaren utvärderare samt Patrik Hadenius, chefredaktör för Forskning & Framsteg och erfaren vetenskapsjournalist. Därefter följer gemensam diskussion med publiken. Session 1.4 Följeforskning, lärande och kommunikation. Idag arbetar många utvärderare, särskilt de som utvärderar strukturfondsprojekt, med en relativt ny utvärderingsansats - lärande utvärdering eller följeforskning. Syftet med denna ansats är främja lärande och stötta utveckling. Ansatsen bygger på att involvera relevanta aktörer i lärandet och stimulera enskilda projekt/verksamheter att ta tillvara på nyvunna erfarenheter, insikter och kunskaper och använda dem för att genomföra förändringar och förbättringar under tiden som utvecklingsarbetet pågår. Men känner vi utvärderare till vilka förutsättningar som bidrar till utveckling och måluppfyllelse i projekt såväl som i löpande verksamhet? Och hur ska en utvärderare arbeta för att skapa dessa förutsättningar? Vad är det som hindrar att insikter, lärdomar och nya kunskaper tas tillvara? Session 1.6 Den förändrade utvärderarrollen oberoende bedömare eller medspelare? Utvärderarens traditionella roll är att efter att en insats implementerats och/eller avslutats som extern komma in och i olika dimensioner värdera hur insatsen genomförts. Denna roll är inte längre den enda allenarådande, utan utvärderaren används i dag allt mer än i tidigare skeden av policyprocessen. Kring detta kretsar de två papers som presenteras inom ramen för denna session. Paperpresentation av Malin Lindberg och Mattias Wikner. Fullständiga papers finns att hämta på www.svuf.nu Parallella sessioner Session 2.1 Utvärdering som samhälleligt fenomen – vad har hänt och vart är vi på väg? För trettio år sedan skrev Aant Elzinga en essä med titeln ”Evaluating the Evaluation Game”. Själva titeln är tankeväckande. För det första säger den att utvärdering är ett spel – ibland ett spel för galleriet, men i de flesta fall ett politiskt spel som har med makt och inflytande att göra. Elzingas essä betonar att man bör förhålla sig kritiskt och betraktar utvärdering utifrån ett paradigmatiskt synsätt - dvs. att det vid olika tidpunkter funnits olika ramverk eller raster för utvärdering som bestäms av ett dominerande värderingssystem – vilket är en viktig utgångspunkt när man kritiskt analyserar utvärdering som samhälleligt fenomen. För tre år sedan skrev Lena Lindgren en lika uppmärksammad bok med titeln ”Utvärderingsmonstret” som handlar om kvalitets- och resultatmätning i den offentliga sektorn. Även Lenas titel är tankeväckande, och att analysen är kritisk går knappast att ta miste på. Nu möts Aant och Lena med sina olika utgångspunkter i en gemensam reflektion över vad som har hänt under de senaste trettio åren, vad som sker idag och vilken tänkbar utveckling de kan se framför sig. I diskussionen deltar också Ove Karlsson Vestman. Session 2.2 Fristående utvärderingsmyndigheter. Vid sessionen kommer företrädare för två etablerade institut med olika vetenskapliga utvärderingstraditioner att presentera och diskutera sin myndighets verksamhet - Institutet för Arbetsmarknadspolitisk Utvärdering (IFAU) och Statens beredning för medicinsk utvärdering (SBU). Dessutom kommer företrädare för två av de nya utvärderingsmyndigheter som växer fram i snabb takt att medverka – Myndigheten för Vårdanalys och Myndigheten för Kulturanalys. Sessionen kommer att ha karaktären av kortare presentationer av de fyra myndigheterna, följt av paneldiskussion om likheter och skillnader, för- och nackdelar, farhågor och förhoppningar osv. med olika typer av fristående utvärderingsmyndigheter, och med stort utrymme för aktiv medverkan från publiken. Som moderator och ledare för paneldiskussionen kommer Rolf Sandahl från Ekonomistyrningsverket (ESV) att fungera. Session 2.3 Utvärderingskulturer – finns de och hur utvecklas de? Vid en konferens som denna och liknande kan vi nog alla enas om att vi har mycket gemensamt som utvärderare, det finns utan tvekan en utvärderingskultur. Samtidigt är det knappast någon tvekan om att utvärdering utformas på olika sätt i olika organisatoriska sammanhang, utvärdering präglas även av organisationskulturen i miljön runtomkring. Man kan tala om mer eller mindre hierarkiska, mer eller mindre lärande, och mer eller mindre deltagande kulturer även vad gäller utvärdering. Claus Rebien, Danmarks Evalueringsinstitut (EVA) samtalar med Kim Forss och presenterar forskning på området. Session 2.4 Att bygga upp utvärderingssystem i organisationer. Vi ska diskutera detta utifrån en fallstudie där en mycket gammal organisation, Svenska kyrkan, är den kontext där ”moderna” styrnings- och utvärderingsmodeller tas i bruk. Företrädare för denna organisation, en konsult som sökt implementera ett utvärderings- och kvalitetsinstrument inom den och en forskare, Stig Linde, som studerat processen möts och reflekterar över vilka lärdomar som kan dras. Session 2.5 Kvalitet i socialt arbete . vad är det, kan det mätas? Socialt arbete är i likhet med annan social verksamhet svår att mäta. Inte desto mindre sker det dagligen. I denna paperssession diskuteras utvärdering av interventioner och av livskvalitet liksom det presenteras reflektioner kring utvärderingsverkstäders möjligheter och svårigheter. Diskussion med Pekka Kettunen, Björn Blom, Stefan Morén, Ove Karlsson Vestman, Per-Åke Karlsson m fl. Session 2.6 Medborgarperspektiv och användbarhet i utvärderingar Vad är kvalitet ur ett medborgarperspektiv, och vad händer med de goda utvärderingarna om de inte används? I denna paperssession diskuteras två aspekter som är viktiga att beakta i utvärderingssammanhang. Diskussion med Anders Hanberger och Åsa Sohlman. Fullständiga papers finns att hämta på www.svuf.nu DELTAGARFÖRTECKNING Konferens - Den goda utvärderingen - 19-20-21 oktober 2011 Förnamn Antti Carina Agneta Jean-Luc Frans Mona Josefin Gunilla Mats Bertil Thomas Göran Jens Anders Ahlm Matilda Kerstin Karen Sven Efternamn Aaltokallio Abrahamson Löfström Abrahamsson af Geijerstam af Malmborg Agaton Aggestam Albinsson Alentun Almstrand Anderberg Andersson Andersson Andrén Anna Ardenfors Arnesson Ask Aulin Företag Polishögskolan FoU i Väst/GR FoUrum SBU Malmö högskola Täby kommun Malmö högskola Blekinge Tekniska Högskola MSB Helsingborgs stad Linköpings kommun, Miljö o samhällsbyggnadsförvalt Oberoende konsult Landstinget i Värmland Socialstyrelsen Ramböll Managemnt Blekinge Tekniska Högskola Malmö högskola Kronofogdemyndigheten Förnamn Clara Maria Sanna Gunilla Barbara Katalin Rickard Anders Anna Ann-Sofie Eva Maria Charlotta Cornelia Björn Karin Ann Kerstin Katarina Karin Therese Joakim Caroline Sven Åsa Nils Pär María Efternamn Axelsson Axelsson Axelsson Backman Befani Bellaagh Bengtsberg Berg Berg Jansson Bergman Bergström Bergström Bjerhem Björk Blom Bodell Boman Borg Borne Borovic Borrman Boström Boussard Bremberg Bringlöv Brunsson Brännström Bustelo Företag Linnéuniversitetet Skolverket Studerande vid Malmö Högskola European Minds Skolverket Myndigheten för kulturanalys Riksrevisionen European Minds Linnéuniversitetet Socialstyrelsen Ekonomistyrningsverket Socialstyrelsen Contextio Ethnographic Umeå universitet SADEV Ann Boman Utveckling AB Myndigheten för samhällsskydd och beredskap Göteborgs universitet Sida/UTV Försäkringskassan PwC (Öhrlings PricewaterhouseCoopers AB) Studentlitteratur KI FoU-Södertörn Uppsala universitet Högskoleverket Universidad Complutense de Madrid Förnamn Anne-Charlott Emma Annika Lisa Tommy Sara Thomas Anna Helene Verner Ulla Eleonor Karin Birgitta Christina Marlene Kenneth Margareta Aant Monica Bengt G Lisa Per-Anders Peter Kerstin Lotta Sven Erik Efternamn Callerstig Cars Claesson Curman Dahlen Dahlin Delahais Delsol Denijs Denvall Duell Duvander Eduards Ehne Hörnström Ehneström Ekholm Eliasson Eliasson Elzinga Emanuelsson Eriksson Eriksson Eriksson Eriksson Ernerskog Fahlgren Faugert Flygare Företag Linköpings universitet Landstingsrevisorerna Stockholm Mälardalens högskola Göteborgs universitet FAS Stockholms läns landsting Försvarsmakten Polishögskolan Linnéuniversitetet ESV Skolinspektionen Landstingsrevisorerna Täby kommun SVUF Mälardalens högskola Ekonomistyrningsverket Vetenskapsrådet Göteborgs universitet Västra Götalandsregionen Fou Välfärd Värmland Naturvårdsverket Serus Ek. För. Framtidsutbildning AB Jönköpings kommun Skellefteå kommun Faugert & Co Utvärdering Örebro universitet Förnamn Kim Rebecka Hans Martin Clas-Uno Johnny Jan-Eric Elma Lars Peter Klara Jennifer Åsa Birgitta Magnus Brita Hjördis Linnea Marie Inger Anders Jenny Niga Liv Maria Anders Niklas Lillemor Efternamn Forss Forssell Forsström Forster Frykholm Funch Furubo G. Andersson Geschwind Gill Goedecke Greene Greijer Greitz Gunnarsson Gustafsson Gustafsson Gustafsson Gustavsson Hagelin Hagqvist Haldén Hamasor Hammargren Hampusgård Hanberger Hansson Harnell Företag Andante-tools for thinking AB Malmö högskola PwC (Öhrlings PricewaterhouseCoopers AB) Myndigheten för kulturanalys Malmö stad Riksrevisionen Senter for statlig økonomistyring (SSØ) Faugert & Co Utvärdering Högskolan i Gävle Student Statisticon AB Socialstyrelsen Göteborgs universitet Regionförbundet Uppsala län FoU-Södertörn Högskolan i Halmstad Linköpings universitet Region Skåne Hagqvist Utveckling Kontigo AB VETA konsult Riksdagen Linköpings Kommun UCER, Umeå unversitet SADEV Resalus AB Förnamn Ola Annelie Viktoria Katarina Annika Ann Carina Karolina Anders Marie Ulf Carina Hanne Susanna Tommy Anders Anna-Carin Björn Ingalill Kerstin Mairon Åsa Emma Mikael Mattias Brigitte Johanna Sanja Efternamn Hedfors Helmersdotter Eriksson Hildenwall Hildingsdotter Hjelm Holmberg Holmgren Hulterström Håkansson Håkansson Hägglund Hällberg Höglund Rydén Jansson Jansson Johansson Johansson Johansson Johansson Johansson Johansson Johansson Johnson Jonasson Jonsjö Junker Jupiter Juric Företag Täby kommun Sweco Eurofutures SIPU International MSB Skolverket Socialstyrelsen PEER Sida Faugert & Co Utvärdering m-dok European Minds Socialstyrelsen Malmö högskola Tillväxtverket Faugert & Co utvärdering Swedish Concern Consulting AB Landstinget i Värmland Örebro universitet Blekinge Tekniska Högskola Linköpings universitet Linnéuniversitetet Utbildningsförvaltningen, Stockholms stad Högskolan i Halmstad Sida/UTV Sida/UTV Kontigo AB European Minds Förnamn Lisa Gunnel Martin Per-Åke Ove Carin Pekka Ann-Christine Sofia Anna Gunnar Carina Fredrik Kristin Britt-Inger Patrik Dick Malin Nadia Odd Lars Stig Lena Kristina Emil Ola Anna Karin Efternamn Jämtsved Lundmark Kardemark Karlberg Karlsson Karlsson Vestman Kaunitz Kettunen Kinch Kjellén Kremel Kriegholm Legerius Lennartsson Lilieqvist Lind Lindahl Lindberg Lindberg Lindberg Lindberg Lindblom Linde Lindgren Lindholm Lindqvist Lundman Lundmark Essen Lundqvist Företag Högskoleverket Karlstads universitet Uppsala universitet Sou Sjuhärad Väldfärd, Inst för ordvetenskap Evalcon Myndigheten för Samhällsskydd och beredskap Jyväskylä universitet Täby kommun Agneta Abrahamsson Consulting AB PEER Utbildningsförvaltningen, Stockholms stad Nacka kommun Myndigheten för Vårdanalys Pol.kand-student Kommunförbundet Skåne European Minds Socialstyrelsen Luleå tekniska universitet Högskolan i Borås Örebro universitet European Minds Socialhögskolan i Lund Förvaltningshögskolan, Göteborgs universitet SCORE/Stockholms Universitet PwC (Öhrlings PricewaterhouseCoopers AB) Tillväxtverket Naturvårdsverket Castor Analys AB Förnamn Lena Ulla Sandra Göran Maria Leena Eva Liv Sara Gry Elisabeth Stefan Lina Jöns Sylvia Maria Laila Sara Tommy Karin Kettil Anna Cecilia Anders Kaj Olle Lennart Veikko Josefin Efternamn Lundström Magnusson Mardones Larsson Melin Melkersson Mellenius Mineur Moberg Monaco Monsen Morén Myrgård Mårtensson Määttä Möller Niklasson Nilsson Nilsson Norberg Nordesjö Nording Nordqvist Norén Oldrup Palm Peck Pelto-Piri Persdotter Företag Västerbottens läns landsting INDEA AB Skolverket Faugert & Co Utvärdering Trafikanalys Svenska kyrkans arbetsgivarorganisation Vetenskapsrådet Senter for statlig økonomistyring (SSØ) Högskoleverket Innovasjon Norge Umeå universitet Sida/UTV SVUF Kunskapscentrum för Jämställd vård Svenska kyrkan Mälardalens högskola Regionförbundet södra Småland Täby kommun Skatteverket Inst. för socialt arbete, Linnéuniversitetet SLL Landstingsrevisorerna Högskoleverket FOI Revisionskontoret, Malmö stad O.P. Utvärdering Sida/UTV PFC, Örebro Läns landsting SIPU International Förnamn Björn Ing-Marie Joakim Mikael Viveka AnnSofi Anna Erik Mona Maud Claus Jan Larry Erik Kajsa Ingrid Helena Jessica Monica Riitta Rolf Agne Per Annika Annette Lena Helen Elin Efternamn Persson Persson Persson Persson Persson Persson-Stenborg Petersén Peurell Pütsep Quist Rebien Resebo Ribbeklint Roos Rosén Rydell Rydén Rydén Rydlund Räty Sandahl Sandberg Sandén Sandström Saväng Sellberg Simons Sjöberg Företag Naturvårdsverket Myndigheten för samhällsskydd och beredskap Boverket Stockholms Stad Utbildningsförvaltningen Högskoleverket Utbildningsradion Örebro universitet Myndigheten för kulturanalys MSB Vetenskapsrådet Danmarks Evalueringsinstitut (EVA) Lt Blekinge KPMG AB Högskoleverket Ramböll Management Ramböll management Svenska ESF-rådet Natur & Kultur Kommunförbundet Skåne Högskoleverket Ekonomistyrningsverket SADEV Regionförbundet Örebro Regionförbundet södra Småland Svenska ESF-rådet Norra Mellansverige Blekinge Tekniska Högskola Haninge kommun Förnamn Per Annika Åsa Riitta Britta Peter Josefine Gun Ingrid Lisa Erika Karin AnnaKarin Anna Maria Fredrik Gunnar Helena Lennart Anette Sten Lisbeth Hans Miriam Ulrika Magdalena Annica Nicole Joakim Efternamn Sjögren-Gulve Sjöström Sohlman Sorsa Steneberg Stern Sternvik Stigelius Ström Ståhl Sundberg Svartengren Swenning Svensson Svensson Svensson Svensson Svensson Svärd Söderberg Söderqvist Ten Terrell Thafvelin Tham Lindell Thomas Thorell Tranquist Företag Naturvårdsverket Skellefteå kommun SSC HSf Stockholms län Karolinska Institutet Faugert & Co Utvärdering Göteborgs universitet Västra Götalandsregionen Socialstyrelsen Ramböll Management Malmö högskola HSf Stockholms län Faugert & Co Utvärdering Nämndkontoret Barn och Utilbildning, Ekerö kommun Trafikanalys Integratia AB APeL FoU Professor Lindköpings Universitet Energimyndigheten Vetenskapsrådet Vetenskapsrådet Naturvårdsverket Faugert & Co Utvärdering Högskoleverket FOI Arvsfonden Faugert & Co Utvärdering Tranquist Utvärdering Förnamn Gunilla Staffan Marie Ulrika Evert Anna Ulrika Anders Lennart Johannes Per-Åke Marie Pål Max Louise Davor Sofia Olof Eva Tomas Richard Efternamn Törnqvist Udd Uhrwing Wallén Vedung Weibull Westholm Weström Widell Wik Vikman Wiktorsson Wilkens Vretborn Yngve Zovko Åkerberg Åslund Åström Åström Österberg Företag SADEV Mälardalens högskola Miljömålsberedningens sekretariat Governo AB Uppsala universitet, IIBF FOI Tillväxtverket Colorata Consulting Sida/UTV Trafikanalys Naturvårdsverket Statskontoret Naturvårdsverket Socialstyrelsen Mälardalens högskola Specialpedagogiska myndigheten IFAU Folkbildningsrådet Faugert & Co Utvärdering Tillväxtverket