2015-10-15
Utvärderingens elementa
Evert Vedung
Prof emeritus i statsvetenskap ssk bostadspolitik
Uppsala universitet, Inst f bostads- och urbanforskning
samt
Statsvetenskapliga institutionen
Utvärderingens elementa
Svenska utvärderingsföreningen
Stockholm, 7 okt 2015
Evert Vedung: kontaktuppgifter
Adress kontor:
Uppsala universitet, Inst f bostads- o urbanforskning (IBF), Box 514,
751 20 Uppsala
Telefon: +46 18 4716500, +46 18 4716511 (direkt)
Mobiltelefon: +46 (0)70 4401315
Epost: [email protected]
Hemsida: http://www.ibf.uu.se/person/evert-v.html
Adress besök:
Trädgårdsgatan 18, Uppsala
Adress hem:
Ymergatan 14, 1 tr, 753 25 Uppsala
Mobiltelefon: 070 4401315
Epost: [email protected]
2
1
2015-10-15
Utvärdering = def.
Utvecklad systemmodell
Logisk interventionsmodell (intervention logic model)
Noggrann bedömning
i efterhand av
utfall, slutprestationer, förvaltning och
beslutsinnehåll samt organisering av
offentliga interventioner,
vilken avses spela en roll
i praktiska beslutssituationer
5
Enkla systemmodellen
7
Utvärderingens roll enligt flerskiktsmodellen
2
2015-10-15
Illustrera grundbegrepp som
intervention, implementering, slutprestation (output)
slutmottagare (addressees, targets), utfall (outcome)
Fallet:
Svenska regeringens hjälp till
afghanska flyktingar i Pakistan
Utvärderingsmodeller
1 Måluppfyllelsemodellen
2 Bieffektsmodellen
3 Relevansmodellen
4 Brukarorienterad utvärdering
5 Intressentmodellen
6 Kollegebedömning–självvärdering
9
7 Produktivitetsmodellen
8 Effektivitetsmodellen
11
European union evaluation model
Outcome2
LEVEL 1:
SOCIETY,
NATURE
LEVEL 2:
INTERVENTION
LEVEL 3:
ASSESSMENT
Problems
Outcome1
Goals
Goal
relevance
Inputs
Activities
Outputs
Productivity
Efficiency(cost efficiency)
Effectiveness(goal achievement)
Outcome relevance and Sustainability
12
3
2015-10-15
Parlamentariska styrkedjan
Måluppfyllelsemodellen
13
Måluppfyllelsemodellen
Skogsvårdslagen 1979: målkatalog
4
2015-10-15
Kontrafinalitet
Brukarorienterad utvärdering
19
Effekter, bieffekter: en typologi
18
20
5
2015-10-15
Brukarstyrning
Bieffektsmodellen
21
23
Brukarstyrning
22
24
6
2015-10-15
Slutprestationer
Brukarna kan också tillfrågas om:
27
Slutprestationer
Brukarnas utvärdering av rådgivning kan handla om:
26
Brukarutvärdering av process fram till slutprestationer
28
7
2015-10-15
SW0T-SCHEMAT
DISPONERA BRUKARNAS SYNPUNKTER ENLIGT DETTA
1. Strengths = Styrkor? Fördelar?
2. Weaknesses = Svagheter? Nackdelar?
3. Opportunities = Möjligheter? Förbättringar
som kan undanröja svagheter?
4. Threats = Hot? Vad skulle kunna gå snett med
styrkorna om ingenting görs?
29
Åtta argument för brukarorientering
31
Vem är intressent (eng. stakeholder)?
300dpi
En intressent är en berörd
En berörd har delägarskap i utvärderad
intervention ( = ”äger delvis frågan”)
Delägarskap kan avse
1 Pengar
2 Status
3 Makt
4 Rykte
5 Anseende hos kolleger och allmänhet
6 Chans
7 Möjlighet till avancemang
Intressentmodellen: drivs av teori om legitim
representation av berörda
32
8
2015-10-15
Intressentutvärdering: enkel & kvalificerad
Intressentutvärdering: förtjänster
1 Enkel intressentutvärdering
Intressenterna tillfrågas om nöjdhet med
interventionen och dess delar
Ingen interaktion mellan intressenter
Utvärderaren redovisar grupp för grupp
Utvärderaren redovisar gm att göra viss
sammanvägning
33
Intressentutvärdering: enkel & kvalificerad
35
Intressentutvärdering: förtjänster
2 Kvalificerad intressentutvärdering
Intressenterna bestämmer värderingskriterier och
dimensioner i interventionen som ska utvärderas
Intressenterna beskriver interventionen samt
bedömer den utifrån egna värderingskriterier
Dialog och deliberation mellan intressentgrupper i
syfte att nå en gemensam tolkning och värdering
34
36
9
2015-10-15
Intressentutvärdering: nackdelar (olämpor)
Skola enligt utvidgade systemmodellen
1 Diffus avgränsning av berörda
Vem är berörd? Otydligt i modellen
2 Likställer alla intressenter
Kålsuparargumentet
3 Otydlig till representativ demokrati
Måste verka inom ramar uppsatta av representativ
demokrati och demos
4 Opraktisk och kostsam
Många intressenter. Omständligt. Tidsödande. Dyrt
5 Pragmatisk uppfattning om sanning?
Sanning kan bli användbarhet, nytta, accepterbarhet.
Detta är också poängen för en del metodologer
Självvärdering - extern bedömning
(Kvalitetssäkring)
37
Ekonomiska modeller
40
10
2015-10-15
Ekonomiska modeller
Ett folkbiblioteks produktivitet
41
Ett folkbiblioteks produktivitet
Boklån som indikator på slutprestation
11