GEVALIS Vuxna
Unik utvärderingsmetod
Evert Vedung
Prof emeritus i statsvetenskap ssk bostadspolitik
Uppsala universitet
Utvärderare i GEVALIS Vuxna (deltid)
Samordningsförbundet Västra Skaraborg, Skara
Samordningsförbundet Västra Skaraborg
Slutkonferens
Lidköping, 23 sep 2014
Evert Vedung: kontaktuppgifter
Postadress hem: Ymergatan 14, 753 25 Uppsala
Mobiltelefon: 070 4401315
Epost: [email protected]
Hemsida: http://www.ibf.uu.se/person/evert-v.html
Adresser arbetsplats:
Uppsala universitet, Inst f bostads- o urbanforskning
(IBF), Box 514, 751 20 Uppsala
Trädgårdsgatan 18
Telefon: +46 18 4716500, +46 18 4716511(direkt)
2
GEVALIS Vuxna: tre metoder
1 Speciell metod för rehabilitering
(ÅKA-metoden, Återhämta, Klargöra, Anpassa)
2 Unikt utvärderingssystem
2.1 Löpande utvärdering (ongoing evaluation)
2.2 Inflätad utvärdering (invävd utv, integrerad utv)
3 Samverkan horisontellt, vertikalt
GEVALIS Vuxna: utvärderingssystemet
Två perspektiv
Perspektiv 1
Löpande utvärdering (ongoing evaluation,
EU-språk, följeforskning på svenska)
Perspektiv 2
Inflätad utvärdering (integrerad utvärdering)
(På tre sätt, tre metoder)
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 1 Löpande utvärdering
Bakgrund i EU-policy
Tidigare utvärderingsfunktion i EU:
Midterm evaluation (sv. mittvägsutvärdering)
Ex post evaluation (sv. slututvärdering)
Dessa utvärderingars rön (resultat) kom inte till
användning för lärande (utveckling)
Blev hyllvärmare
Beslut ändra utv-funktionen till ständigt pågående (=
ongoing) för att bidra till lärande (utveckling)
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 1 Löpande utvärdering
Ongoing evaluation på EU-språk
Följeforskning = den svenska benämningen
Löpande utvärdering = bättre översättning av
ongoing evaluation
Varför?
Skäl 1 Det handlar om utvärdering, inte forskning
Skäl 2 Löpande träffar bättre idén om realt
pågående samtidigt som den verksamhet som
utvärderas (i realtid)
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering
(Integrerad utvärdering, invävd utvärdering)
Ongoing evaluation kan utföras externt av forskare vid
universitet, policyinstitut, konsultfirmor
SoF V:a Skaraborg har valt intern utvärdering i stället
T o m i form av integrerad utvärdering
Utvärderingen ska vara inflätad i den verksamhet som den
utvärderar
Anledning: Lokala lärdomar från utvärderandet av GEVALIS
Unga Vuxna som föregick GEVALIS Vuxna.
Där externa utvärderare. Höll sig på avstånd. För lite insatta i
verksamhet. Bidrog mkt lite till lärande. Poängen nu att få till stånd
mer lärande; därför fläta in utvärdering mer i den utvärderade
verksamheten
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering
Tre metoder
1 Utvärderingsnätverkets (utv-gruppens)
medlemmar medverkar i den sakverksamhet
(rehabverksamhet) som utvärderas
2 Informationsinsamling för utvärderingen utförs
av brukare och personal i sakverksamheten
3 Utvärderingens uppläggning och resultat kopplas
fortgående tillbaka till all personal som jobbar i
sakverksamheten
GEVALIS Vuxna: utvärderingssystemet
Persptiv 2 Inflätad utvärdering, metod 1
Janet Wohlfarth, ordförande i utv-nätverket, gruppens
sammankallande och drivande kraft
Roll i GEVALIS Vuxna:
1 Projektledare
2 Förbundschef i SoF Västra Skaraborg; SoF V:a Skaraborg
äger GEVALIS Vuxna; JW företräder härmed också
projektägaren
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering, metod 1
Erik Kvarndal, ledamot av utv-nätverket sedan 1 jan 2011
Roll i GEVALIS Vuxna:
1 Ledamot (politiker) av SoF:s styrelse (projektägaren)
2 Omsorgsnämndens ordf i Skara kommun, en social
myndighet som remitterar deltagare till GEVALIS Vuxna
GEVALIS Vuxna: utvärderingssystemet
Zelma Fors, ledamot av utv-nätverket
Fil dr i psykologi och legitimerad psykolog
Roll i GEVALIS Vuxna:
Handledare för alla coacher
Birgitta Lindberg , ledamot av utv-nätverket
Roll i GEVALIS Vuxna:
Projektsamordnare för hela GV (alla fem kommuner)
Rehabcoach (halvtid) i Essunga kommun
Elisabeth Gilbertsson (Jacqueline Karvik), ledamot av utvnätverket
Processtödjare i SoF Västra Skaraborg
Roll i GEVALIS Vuxna:
Vad ska hända med deltagarna sedan de lämnat GV ?
GEVALIS Vuxna: utvärderingssystemet
Ulrika Gardtman, ledamot av utv-nätverket
Chef för sektionen Integration, Försörjningsstöd och
Arbetsmarknad i Vara kommun
Roll i GEVALIS Vuxna:
Företrädare f arb-markn-frågor bland remitterande myndigh
Evert Vedung, ledamot av utv-nätverket
Utomstående specialist på utvärdering
Bidra till utveckl av ansatsen inflätad och löpande utvärdering
Handledning i praktiskt självvärderingsarbete
Bidra till att greppa de större linjerna i insamlad information
Bidra i arb att författa delrapporter och slutrapport mm
Roll i GEVALIS Vuxna:
Ingen alls
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering, metod 2
Rehabcoacher och brukare (deltagare) sköter
fortlöpande generering och dokumentation av viss
information
Sker i realtid och parallellt med rehabarbetet, inte
långt efteråt
Enligt en i förväg utarbetad rutin som kan anpassas
efter nya omständigheter
Förädlas sedan i utv-nätverket
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering, metod 3
Utvärderingens uppläggning och resultat kopplas
fortgående (kontinuerligt) tillbaka till all personal
som jobbar i sakverksamheten på olika nivåer
1 SoF politisk ledning
2 SoF projektets ledning
3 Hela nätverket av coacher
4 Coacher i var och en av de fem kommunerna
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 2 Inflätad utvärdering, metod 3
Utvärderingens och resultat kopplas tillbaka till all
personal som jobbar i sakverksamheten på olika
nivåer
1 Gm en årlig lärandekonferens
Coacher
Linjechefer
Projektansvarig
Politiker
Administratörer
GEVALIS Vuxna: utvärderingssystemet
Perspektiv 3 Självvärdering
En form av intern utvärdering
Ongoing evaluation kan bedrivas som extern
utvärdering
Vi har valt intern utvärdering i stället
T o m i form av självvärdering
Anledning: Lärdomar från utvärdering av GEVALIS
Unga Vuxna som föregått GEVALIS Vuxna. Där externa
utvärderare. Bidrog mkt lite till lärande. Poängen nu
att få till stånd mer lärande; därför inslag av
självvärdering
Tolvstegsmodellen för utvärdering av
Gevalis Vuxna
1. Ingångsdata typ 1:
Deltagarens självskattning av
aktivitetsförmåga utanför
hemmet (10 tim/v)
2. Ingångsdata typ 2:
Bedömningar av
deltagarnas aktivitetsförmåga
från ordinarie myndigheter
3. Loggbok förd av rehabcoacher
4. Strukturerat aktivitetsschema
För varje deltagare, förd av coacher
5. Lägesbeskrivning för hela gruppen
6. Lärandekonferens
7. Årlig rapport, hela projektet
8. Utgångsenkät (deltagare)
9. Intervjuer med linjechefer
10. Efterintervju 1 med deltagarna
11. Efterintervju 2 med deltagarna
12. Slutrapport – år tre
Utvärderingssystemet
Styrkor
1 Kunskapsargumentet
Utvärderingsgruppen tillförs personer som har
djupgående kunskaper om den intervention
som utvärderas
Ökar utvärderingens relevans och kvalitet
Utvärderingssystemet
Styrkor
2 Lärandeargumentet
Kunskaper från utvärderingen återförs till
interventionen genom att utvärderarna arbetar
praktiskt i interventionens dagliga aktiviteter
Därifrån kan de spridas vidare genom ringar på
vattnet till andra kollegor i interventionens
genomförande.
Återföring sker också genom
lärandekonferenserna.
Utvärderingssystemet
Styrkor
3 Effektivitetsargumentet
Effektivitet i två avseenden:
3.1 bättre måluppfyllelse i bemärkelsen bättre
återhämtning och bättre inträde på arb-marknaden
3.2 större måluppfyllelse per krona
(kostnadseffektivitet)
Utvärderingssystemet
Svagheter
1 Oberoendeargumentet
Då utvärderarna också är medarbetare i den
intervention som utvärderas kan utvärderingen
komma att ge en överdrivet positiv bild av vad
interventionen åstadkommit
Utvärdering uppnår inte den distans som bör
krävas och förlorar därmed i objektivitet
Utvärderarna förmår inte lägga något
oberoende, självständigt perspektiv på sin
bedömning