Om attribuering och kontribuering i användning av utvärderingar
1 Om attribuering och kontribuering i användning av utvärderingar – eller ”En inte använd utvärdering är också en utvärdering” Paper till Svenska Utvärderingsföreningens konferens 8-9 oktober 2015 Sten Söderberg, Vetenskapsrådet September 2015 Abstract Syftet med detta paper är att med utgångspunkt från två konkreta fall (fallstudier) försöka lämna ett bidrag till att lyfta samman diskursen om användning av utvärderingar med utvärderingsdiskursen om attribuering och kontribuering. Studien utgår från ett internationellt samarbetsprojekt inom ramen för samverkansorganisationen Science Europe, där ett antal europeiska forskningsorganisationer – däribland Vetenskapsrådet - har kommit överens om att i explorativt syfte genomföra fallstudier för att belysa hur ett antal utvärderingar inom det forskningspolitiska fältet har använts. Det övergripande syftet med projektet är att på en europeisk jämförande nivå identifiera faktorer som bidrar till att forskningspolitiska utvärderingar kommer till användning. Från svensk sida görs bl.a. en metaanalys (fallstudier) av två utvärderingar av forskningsämnen, nämligen Utvärdering av svensk forskning i Matematik (2010) och Utvärdering av svensk forskning i Teknisk Mekanik (2012/2013). Dessa två utvärderingar har valts eftersom de metodologiskt är mycket lika, men den ena utvärderingen (Matematik) har fått stort genomslag och lett till ett antal uppmärksammade åtgärder, medan den andra utvärderingen (Teknisk Mekanik) har haft till synes mycket blygsamma effekter. Hur kan detta komma sig? Preliminära resultat från (den pågående) studien indikerar ett antal slutsatser: För det första finns behov av en nyanserad syn på vad som menas med användning av utvärderingar, där användningen av en utvärdering i betydligt högre grad kan handla om kontribuering än attribuering. Vidare indikerar studien att en systematisk och rigorös utvärderingsmetodik inte är avgörande för i vilken utsträckning som utvärderingsresultaten kommer till användning. Det är andra faktorer som i högre grad påverkar användningen. Ytterligare en preliminär slutsats är att bara det faktum att ett beslut om utvärdering fattas inom ett fält där det finns konkurrens om begränsade ekonomiska resurser som t.ex. beslut om forskningsbudgetar - kan bidra till att sätta ett område eller ämne på kartan och säkerställa att det blir uppmärksammat. Vidare framgår att det faktum att mer än en uppdragsgivare/beställare står bakom ett utvärderingsuppdrag adderar till utvärderingens ”substans”, och ökar sannolikheten för att resultaten ”landar” och ligger till grund för någon form av beslut. Andra preliminära slutsatser är att sannolikheten att utvärderingsresultaten används ökar då det finns en upplevd och reell kunskapsbrist; att utvärderingens användning främjas om resultaten offentliggörs och lanseras vid en tidpunkt och i en kontext då ämnet eller frågeställningen står på agendan av andra skäl; och att användningen kan påverkas av omfattningen och detaljeringsnivån i rekommendationer från utvärderarna. Slutligen kan slutsatsen dras att vad som till synes är en ickeanvändning kan vara betydelsefull genom att effekten är att en planerad åtgärd, t.ex. en ekonomisk nedskärning, inte genomförs. 1 2 Bakgrund Syfte och kontext Syftet med detta paper är att med utgångspunkt från två konkreta fall (fallstudier) försöka lämna ett bidrag till att lyfta samman diskursen om användning av utvärderingar med utvärderingsdiskursen om attribuering och kontribuering. Studien utgår från ett internationellt samarbetsprojekt inom ramen för samverkansorganisationen Science Europe, där ett antal europeiska forskningsorganisationer – däribland Vetenskapsrådet - har kommit överens om att i explorativt syfte genomföra fallstudier för att belysa hur ett antal utvärderingar inom det forskningspolitiska fältet har använts. Det övergripande syftet med projektet är att på en europeisk jämförande nivå identifiera faktorer som bidrar till att forskningspolitiska utvärderingar kommer till användning. Från svensk sida görs bl.a. en metaanalys (fallstudier) av två utvärderingar av forskningsämnen, nämligen Utvärdering av svensk forskning i Matematik (2010) och Utvärdering av svensk forskning i Teknisk Mekanik (2012/2013). I föreliggande paper presenteras preliminära resultat från och slutsatser av dessa två fallstudier, inklusive ett försök att problematisera och generalisera slutsatser kring användningen av utvärderingar. Science Europe och arbetsgruppen för ex-post-utvärdering Science Europe är en samarbetsorganisation för europeiska forskningsfinansiärer och forskningsutförare, bildad 2011 och i nuläget bestående av 50 medlemsorganisationer från 27 europeiska länder. Ett kriterium för medlemskap är att medlemsorganisationerna har en central nationell funktion i landets forskningssystem och forskningsbudget, och att den i huvudsak är offentligt finansierad (”primarily funded through national public funding”). Detta innebär att medlemmmarna i första hand utgörs av nationella forskningsråd (som t.ex. Vetenskapsrådet) eller nationella och offentligt finansierade forskningsinstitut (t.ex. Max-Planck-Gesellschaft i Tyskland). Det förtjänar att understrykas att Science Europe alltså inte är en organisation med koppling till EU eller EU-kommissionen; att den inte representerar länder/nationer; och att den består av både forskningråd och forskningsinstitut, vilket innebär att den är både stor och heterogen. Inom Science Europe finns bl.a. nio tematiska arbetsgrupper (working groups) vilka har jämförselvis operativa uppgifter med syfte att ta fram förslag till gemensamma ståndpunkter, riktlinjer och rekommendationer på det forskningspolitiska området. En av dessa arbetsgrupper behandlar expost-utvärdering (”Working Group for Research Policy and Programme Evaluation”). Gruppen sysslar alltså med metod- och policyfrågor vad gäller utvärdering av forskningspolitiska åtgärder, av forskningsprogram, av forskningsområden/ämnesområden, av forskningsutförande institut m.m. Inom arbetsgruppens ram har ett antal medlemsorganisationer – däribland Vetenskapsrådet kommit överens om att i explorativt syfte genomföra fallstudier för att belysa hur ett antal utvärderingar inom det forskningspolitiska fältet har använts. Det övergripande syftet med projektet är att på en europeisk jämförande nivå identifiera faktorer som bidrar till att forskningspolitiska utvärderingar kommer till användning, och i så fall vilka typer av användning(ar). Detta arbete pågår för närvarande under åren 2014-2016 och planeras leda till en internationell workshop i Wien under andra halvan av 2016. För närvarande deltar mellan fem och tio medlemsorganisationer i lika många 2 3 länder i arbetet, främst forskningsfinansiärer/forskningsråd som är intresserade av närmare studera hur deras utvärderingar används – alltså utvärderingar av olika finansieringsåtgärder. Föreliggande presentation redovisar preliminära slutsatser från två - av tre planerade - hittills genomförda svenska fallstudier. Jag vill understryka att redovisningen baseras på ett begränsat empiriskt underlag från ett ”work-in-progress” och att slutsatserna verkligen är preliminära. Inte desto mindre bedömer jag att iakttagelser och slutsatser kan vara av värde för en utvärderingsintresserad publik, och i syfte att generera hypoteser för fortsatta analyser av hur utvärderingar inom det forskningspolitiska fältet kommer – eller inte kommer - till användning. Vetenskapsrådets utvärderingsverksamhet – hur initieras och används utvärderingar? Vetenskapsrådet är Sveriges största offentliga forskningsfinansiär och finansierar främst grundforskning inom alla forsknings/ämnesområden. Sedan år 2008 har Vetenskapsrådet en särskild funktion och särskild kompetens inom området utvärdering, f.n. organiserad inom enheten för analys och utvärdering. Utvärderingarna är i stor utsträckning uppdragsstyrda i form av regeringsuppdrag eller interna uppdrag från olika ämnesråd inom Vetenskapsrådet. Det innebär att utvärderingsresultaten redovisas för relevanta uppdragsgivare som har möjlighet att använda dem som beslutsunderlag. Frågan här är i vilken utsträckning de används som underlag för beslut, och på vilket/vilka sätt utvärderingarna i så fall används? En vanlig typ av uppdrag avser att utvärdera forskningen inom ett visst forskningsområde/ämnesområde, som t.ex. utvärdering av den svenska forskningen inom klinisk medicin, vårdforskning, teknisk mekanik eller filosofi. En annan vanlig typ av uppdrag gäller att utvärdera större, politiskt beslutade, s.k. excellenssatsningar som t.ex. de s.k. Linné- och Berzeliisatsningarna. Uppdragen kan härutöver också vara regeringsuppdrag att ta fram förslag till utvärderingsmodeller som ska kunna ligga till grund för resursfördelning, t.ex. avseende den kliniska forskningen. Utvärderingarna genomförs normalt i form av s.k. peer review (vetenskaplig sakkunniggranskning) där själva värderingen utförs av internationell expertis i form av vetenskapligt sakkunniga inom det relevanta ämnesområdet. Ibland – och i ökande utsträckning – innehåller utvärderingarna även inslag av s.k. expert review (expertgranskning), då även annan expertis med erfarenhet från avnämarsidan (”samhället”) engageras, exempelvis från näringslivet, hälso- och sjukvården etc. Som underlag för sin värdering har de sakkunniga experterna olika typer av underlag – oftast självvärderingar från och hearings med utvärderade enheter/lärosäten, kompletterat med t.ex. statistiskt material, bibliometriska data, enkätresultat, fallbeskrivningar och annat. Som i alla former av seriös utvärdering ligger alltså oftast ett rätt omfattande och empiriskt inriktat datainsamlingsoch datasammanställningsarbete bakom själva (ut)värderingen. Metod Föreliggande redovisning baseras på två fallstudier, båda i form av s.k. områdesutvärderingar. Den ena avser utvärdering av svensk forskning i matematik och genomfördes år 2010.1 Den andra 1 Vetenskapsrådet (2010). 3 4 utvärderingen avser svensk forskning i teknisk mekanisk (eng. Mechanical Engineering) och genomfördes år 2012-2013.2 Dessa båda utvärderingar valdes eftersom de båda representerar tämligen konventionella ämnesutvärderingar inom ett och samma forskningsfält, nämligen Naturvetenskap-Teknik, och de var båda uppdrag från Ämnesrådet för naturvetenskap och teknikvetenskap inom Vetenskapsrådet. Skillnaden mellan utvärderingarna är att den ena bevisligen hade lett till omfattande åtgärder (Matematik) medan den andra till synes inte hade efterlämnat några mer omfattande spår i form av beslut, initiativ eller åtgärder (Teknisk Mekanik). Dvs, en av utvärderingarna hade använts mycket och den andra lite – varför? Inom Science Europes arbetsgrupp för ex-post-utvärdering har vi kommit överens om vissa grundläggande kriterier för valet av fallstudier. Ett kriterium är att utvärderingarna är genomförda under de senaste tio åren och publikt redovisade i form av en rapport med åtminstone en sammanfattning på engelska - dvs., ett offentligt källmaterial skulle finnas att tillgå. Ett annat kriterium är att fallstudierna, utöver en skriftlig och allmän tillgänglig rapport, ska baseras på djupintervjuer med åtminstone två – gärna fler – nyckelpersoner med olika roller inom utvärderingen i fråga. Dvs., fallstudierna ska inte baseras på information från endast en respondent. Detta innebar att valet av fallstudier i Sverige i viss mån också fick göras pragmatiskt. Relevanta respondenter som hade olika roller och även representerade olika nivåer i utvärderingarna fanns i båda fallen att tillgå inom Vetenskapsrådets organisation eller i myndighetens närhet. I fallet Matematik genomfördes djupintervjuer med fem respondenter som representerade såväl beställare, utförare som mer externa intressenter. I fallet Teknisk Mekanik genomfördes tre djupintervjuer med respondenter som representerade såväl beställare som utförare av utvärderingarna. Intervjuerna genomfördes i form av semi-strukturerade intervjuer3 enligt ett på europeisk nivå överenskommet frågebatteri, men med avsevärt utrymme för utvikningar, uppföljningar och respondentens egna kommentarer och reflektioner. I sammanhanget ska nämnas, att en omfattande diskussion fördes inom Science Europe-gruppen om det skulle vara ett kriterium att även representanter för evaluanderna (dvs. de utvärderade) skulle komma till tals i intervjuerna. Trots att detta rent principiellt hade varit önskvärt ansågs det dock inte som en rimlig ambitionsnivå, med tanke på storleken av de utvärderade områdena eller forskningsorganisationerna. Om attribuering, kontribuering och användning Det finns en omfattande vetenskaplig litteratur om begreppen kontribuering och atribuering i utvärdering, liksom om användning av utvärderingar (”evaluation use”). Min avsikt här är inte att presentera en litteraturöversikt eller föra en djupare diskussion om dessa begrepp, utan endast att introducera dem med bäring på den fortsatta framställningen. I litteraturen om effektutvärdering används inte sällan begreppet additionalitet (additionality) för att beteckna vad en insats har bidragit med utöver vad som ändå skulle ha skett, utan denna insats.4 Effekter ska inte tolkas som en slutlig eller definitiv påverkan. Rimligare är att se effektstudier som 2 3 4 Vetenskapsrådet (2013). Se t.ex. Fylan (2005); Trost (2007). Se t.ex. Judd & Randolph (2006). 4 5 ett medel för att finna orsakssamband mellan insats och resultat. Ett strikt orsakssamband är vanligtvis svårt att fastställa, eftersom en händelse eller ett resultat sällan är frukten av en enda insats. Istället för att säga att resultatet X orsakas av insatsen Y (s.k. attribuering, attribution) kan det vara att föredra att säga att insatsen Y bidragit till resultatet X (s.k. kontribuering, contribution).5 Man kan överföra detta resonemang på diskursen om användning av utvärdering, även om jag inte sett särskilt mycket skrivet om distinktionen mellan kontribuering och attribuering i litteraturen om användning av utvärderingar (”evaluation use”). Även här finns en omfattande litteratur. I arbetet med fallstudier i Science Europes arbetgrupp för ex-post-utvärdering har vi enats om att utgå dels från Evert Vedungs klassiska modell för klassificering av användning av utvärdering6 – instrumentell, konceptuell, interaktiv, legitimerande och taktisk användning, sedermera även kompletterad med rituell användning. Vi har jämkat ihop denna med en liknande men inte helt identisk klassificering i form av den österrikiska s.k. ftEval-modellen78, en ”plattform” med överenskomna standards för forskningsutvärdering som används av forskningsfinansiärer och forskningsutförare i Österrike. Vad gäller motiv för, och användning av, utvärderingar skiljer FtEval” mellan ”legitimation, information, learning, steering,and mediating”. Vid diskursen om hur utvärderingar används - eller inte används – hänvisas emellanåt till klassificeringar av detta slag, mindre ofta hänvisas till graden av användning. Vid arbetet med de fallstudier som ligger till grund för redovisningen i detta paper har det blivit tydligt att det är rimligare att säga att utvärderingar, tillsammans med andra faktorer, kan bidra till att åtgärder genomförs - dvs. kontribuering – snarare än att på ett ”binärt” sätt tala om att de används eller ej – dvs. attribuering. Två fallstudier Utvärdering av svensk forskning i matematik Utvärderingen av svensk forskning i matematik beställdes av Vetenskapsrådets ämnesråd för Naturvetenskap och Teknik år 2009 och genomfördes år 2010.9 Vetenskapsrådet beslöt att utföra utvärderingen i samråd med Stiftelsen för Strategisk Forskning (SSF) – en forskningsstiftelse som traditionellt, och tillsammans med Vetenskapsrådet, har varit en viktig finansieringskälla för svensk matematikforskning. Utvärderingen kan ses som en traditionell ämnesutvärdering inom det naturvetenskapliga-tekniska fältet – det berörda ämnesrådet har haft som tradition att regelbundet låta genomföra ämnesutvärderingar. Det faktum att mer än en finansiär/beställare låg bakom utvärderingsuppdraget anses av flera informanter addera till utvärderingens ”substans”, och ökar sannolikheten för att ”resultaten landar och blir omhändertagna”. Ett motiv för att genomföra utvärderingarna var ett upplevt kunskapsgap – den senaste utvärderingen av matematikforskning hade genomförts 1995, dvs. 14-15 år tidigare. Enligt en av respondenterna kan 10-15 år vara en lång tid för utvecklingen av forskningsbaserad kunskap och 5 6 7 8 9 Se t.ex. Patton (2011) ; Stern et. al. (2012). Vedung (2009). Centre for Social Innovation (Zentrum für Soziale Innovation; 2012). Zinöcker (2015). Se Vetenskapsrådet (2010). 5 6 forskningsbaserade applikationer. Ett annat motiv var oro för en upplevd kvalitetssänkning, baserad på bedömningar av forskningsansökningar inom området liksom på bibliometriska data. Kvalitetssänkningen upplevdes som särskilt oroande mot bakgrund av en traditionellt/historiskt stark roll för svensk forskning i matematik; och även mot bakgrund mot den s.k. matematikkrisen i svensk skola, med en lång följd av sjunkande resultat i internationella mätningar som PISA och TIMSS. Utvärderingen projektleddes från Vetenskapsrådets utvärderingsfunktion tillsammans med företrädare för SSF. Själva utvärderingen genomfördes av en internationell sakkunnigpanel på tio personer. Utvärderingen omfattade 160 forskningsprojekt inom området Matematik, varav 145 finansierade av Veteskapsrådet och 15 av SSF. Ledarna för forskningsprojekten, totalt 123 personer, ombads av skriva självvärderingar, och svarsfrekvensen var ca 80 %. Utvärderingspanelen baserade sina bedömningar på dessa ca 100 självvärderingar, kompletterade med hearings med företrädare för berörda institutionsledningar (motsvarande) från sammanlagt 13 svenska lärosäten. Beslutet att grunda utvärderingen på finansierade forskningsprojekt föranledde viss kritik från fältet att utvärderingen inte speglar den totala matematikforskningen i Sverige. Detta var en metodologisk lärdom vilken ledde till att Vetenskapsrådet i nästkommande ämnesutvärdering (avseende Teknisk mekanik; se vidare nedan) genomförde vissa förändringar i utvärderingsdesignen. Utvärderingspanelen gjorde detaljerade bedömningar av forskningskvaliteten olika delområden inom matematikforskningen vid samtliga berörda lärosäten i Sverige. Härutöver gav panelen ett flertal utförliga och detaljerade rekommendationer rörande matematikforskning i Sverige, i huvudsak av strukturell art: rekommendationerna rör frågor som anställningsförhållanden vid svenska universitet; ”undervisningsbördan”; finansieringsnivån; förslag hur mobiliteten kan främjas; tvärdisciplinär forskning med matematiskt innehåll; förutsättningar för centrumbildningar; och inriktningen av infrastrukturstöd vad gäller matematikforskning. Dessa strukturella rekommendationer var utrymmesmässigt nästan lika omfattande som kvalitetsbedömningen av enskilda sub-discipliner och lärosäten, något som i denna typ av utvärderingar måste ses som synnerligen ovanligt. En stor rad strukturella problem och föreslagna åtgärder angavs i panelens rekommendationer. Utvärderingen av svensk forskning i matematik fick stor uppmärksamhet och behandlades vid en stor hearing, som bevistades av företrädare för ”hela det matematiska Sverige” enligt en av de intervjuade. Matematikutvärderingen och efterföljande hearing ledde till en särskild (och fortfarande pågående) ”matematiksatsning” våren 2013, omfattande 500 miljoner kronor under fem-sex år från de tre finansiärerna Vetenskapsrådet, SSF och Knut och Alice Wallenbergs stiftelse (KAW).10 Utvärderingen får alltså sägas ha fått omfattande effekter och kommit till stor användning som beslutsunderlag, en användning som därmed i Vedungs terminologi kan betecknas som instrumentell. Det finns även inslag av informativ användning och legitimerande användning, då utvärderingen ledde till en ökad kunskap om matematikforskningens problem och legitimerade åtgärder som emanerade ur en latent vilja (bland såväl politiker och finansiärer) att satsa på området. Däremot finns få tecken på inlärningseffekter (i det matematiska forskningssamfundet) eller på taktisk eller rituell användning av utvärderingsresultaten. 10 Se t.ex. Svenska Dagbladet 2013-04-08. 6 7 Utvärdering av svensk forskning i teknisk mekanik Även utvärderingen av svensk forskning i teknisk mekanik beställdes av Vetenskapsrådets ämnesråd för Naturvetenskap och Teknik.11 Den beställdes och genomfördes år 2012-2013.12 Finansieringsstrukturen inom detta område är radikalt annorlunda än vad gäller matematikforskning. Den senare har kraftig slagsida åt grundforskning och Vetenskapsrådet är en av ett fåtal tunga och viktiga finansiärer. Forskning i teknisk mekanik har betydligt fler inslag av tillämpad forskning och har en bred finansieringsstruktur inklusive hög grad av näringslivsfinansiering. Av dessa skäl beslöts att Vetenskapsrådet skulle genomföra utvärderingen själv och inte i samråd med andra finansiärer, i syfte att behålla fokus på grundforskningsdelen i teknisk mekanik, ett fokus som är Vetenskapsrådet huvudsakliga och instruktionsenliga prioritet. Utvärderingen kan liksom matematikutvärderingen betraktas som en traditionell ämnesutvärdering inom det naturvetenskapliga-tekniska fältet – det berörda ämnesrådet har haft som tradition att regelbundet låta genomföra ämnesutvärderingar. Förutom detta ”rutinmässiga” eller ”rituella” motiv fanns en undran över kvalitetsutvecklingen inom området, baserad på en minskande ansökningsvolym till Vetenskapsrådet och i viss grad på bibliometrisk information. Den minskande ansökningsvolymen skulle på sikt eventuellt kunna medföra reduktioner I forskningsområdets budget, detta även mot bakgrund av förekomsten av alternativa finansieringskällor. Man skulle därför eventuellt kunna tala om en potentiell ”hotbild” mot ämnet. En utvärdering bedömdes vara värdefull I syfte att ge vägledning vid kommande beslut avseende detta forskningsområde. En av fallstudiens informanter menade t.o.m. att det faktum att ett beslut om utvärdering fattas inom ett fält där det finns konkurrens om begränsade ekonomiska resurser - som t.ex. beslut om forskningsbudgetar inom det naturvetenskapligt-tekniska området - kan bidra till att sätta ett område eller ämne på kartan och säkerställa att det blir uppmärksammat. Ytterligare ett explicit syfte som uppgavs i intervjuerna var att ge feedback till de utvärderade enheterna/institutionerna, dvs. ett utvecklande eller inlärningssyfte. Utvärderingen projektleddes från Vetenskapsrådets utvärderingsfunktion. Själva utvärderingen genomfördes av en internationell sakkunnigpanel på sju personer. Som en direkt följd av den metodkritik som hade riktats mot matematikutvärderingen vad gäller bristande representativitet, utvecklades en alternativ utvärderingsdesign. En statistisk kartläggning genomfördes av alla universitetsinstitutioner (motsvarande) i Sverige där forskning i teknisk mekanik bedrevs (enligt SCB:s och UKÄ:s överenskomna officiella klassifikation av forskningsämnen13), oavsett finansieringsstruktur. Resultatet blev en förteckning över totalt ca 40 institutioner/enheter (s.k. ”rapporterande enheter”) vid totalt 14 svenska lärosäten vilka fick inkomma med självvärderingar. Svarsfrekvensen var ca 75 %, och utvärderingspanelen baserade sina bedömningar på dessa ca 30 självvärderingar, kompletterade med hearings med företrädare för de berörda rapporterande enheterna. Utvärderingspanelen gjorde detaljerade bedömningar av forskningskvaliteten i olika delområden inom forskningen i teknisk mekanik vid samtliga berörda lärosäten i Sverige. Härutöver gav panelen ett fåtal tämligen allmänt hållna rekommendationer på nationell nivå, vilket innebär en påtaglig skillnad mot motsvarande rekommendationer i matematikutvärderingen. Fokus låg alltså på 11 12 13 Eng. Mechanical Engineering. Se Vetenskapsrådet (2013). Statistiska Centralbyrån (SCB) & Högskoleverket (HSV; 2011). 7 8 bedömning och rekommendationer på institutions/enhetsnivå vid enskilda lärosäten. Panelens generella och allmänna bedömning var att svensk forskning inom området är internationellt stark. Panelen ansåg att det är angeläget “to maintain a support structure such that this research is strong”14 , och understryker att “….The lack of growth in VR resources made available to the mechanical engineering sector is a threat to its vibrancy, regeneration, and competitiveness on an international scale”.15 Utvärderingen tycks inte ha fått någon större uppmärksamhet och inga särskilda åtgärder eller beslut togs som en följd av utvärderingen, dvs. en märkbar kontrast mot matematikutvärderingen. Det som vid ett ytligt påseende framstår som en icke-användning (”non-use”) kan dock, som den närmare analysen visar, anses ha bidragit till att det berörda ämnesrådet inte fattade något beslut om nedskärning av forskningsämnets budget - vilket ligger i linje med utvärderingspanelens allmänna bedömning och rekommendation. Slutsatsen blir att vad som till synes är en icke-användning kan vara betydelsefull genom att effekten är att en planerad eller åtminstone övervägd åtgärd, t.ex. en ekonomisk nedskärning, inte genomförs. För att travestera Ulf Lundells famösa uttalande att ”en inställd spelning är också en spelning”16 – en icke-använd utvärdering är också en utvärdering. Det sätt på vilket utvärderingen användes som beslutsunderlag (för ett ”icke-beslut”), kan nog i Vedungs terminologi betecknas som instrumentellt - även om denna användning inte är särskilt ”synlig”. Det finns även inslag av informativ användning då utvärderingen ledde till en ökad kunskap om forskningskvaliteten på området; samt tecken på möjlig lärande användning/inlärningseffekter i form av uttalad detaljerad feedback till de utvärderade enheterna; och på rituell användning då detta synes ha varit en tämligen konventionell ämnesutvärdering vilken inte väckte någon större uppmärksamhet. Det finns dock knappast tecken på legitimerande eller taktisk användning av utvärderingsresultaten. Sammanfattande iakttagelser och slutsatser De preliminära resultaten från (den pågående) studien indikerar ett antal slutsatser, vilka är av betydelse då man önskar främja användningen av utvärderingar – åtminstone på det forskningspolitiska området, men kanske även mer generellt: För det första finns behov av en nyanserad syn på vad som menas med användning av utvärderingar, där användningen av en utvärdering i betydligt högre grad kan handla om kontribuering än attribuering. Båda utvärderingarna/fallstudierna gav information och beslutsunderlag som i samverkan med annat underlag bidrog till att i det ena fallet fatta beslut om förändringar, och i det andra fallet hindra beslut om förändringar. Vidare indikerar studien att en systematisk och rigorös utvärderingsmetodik inte är avgörande för i vilken utsträckning som utvärderingsresultaten kommer till användning. Utvärderingsmetodiken i de två studerade fall är tämligen standardiserad och snarlik – även om skillnader i metod finns, särskilt 14 15 16 Vetenskapsrådet (2013), s. 6-7. ibid., s. 11. Se t.ex. Ivarsson (2007). 8 9 vad gäller urvalet av utvärderingsobjekt (rapporterande enheter/evaluander). Det är andra faktorer som i högre grad påverkar användningen. Studien indikerar vidare att bara det faktum att ett beslut om utvärdering fattas inom ett fält där det finns konkurrens om begränsade ekonomiska resurser - som t.ex. beslut om forskningsbudgetar - kan bidra till att sätta ett område eller ämne på kartan och säkerställa att det blir uppmärksammat: ”i och med att en utvärdering beslutas, är halva slaget vunnit – ämnesföreträdarna höjer sina glas” som en av studiens informanter uttryckte det. Vidare framgår att det faktum att mer än en uppdragsgivare/beställare står bakom ett utvärderingsuppdrag adderar till utvärderingens ”substans”, och ökar sannolikheten för att resultaten inte läggs i byrålådan utan att de ”landar” och ligger till grund för någon form av beslut/åtgärd. Sannolikheten att utvärderingsresultaten används ökar då det finns en upplevd och reell kunskapsbrist. Enligt en av respondenterna kan, inom det forskningspolitiska området, 10-15 år vara en lång tid för utvecklingen av forskningsbaserad kunskap och forskningsbaserade applikationer vilket innebär att en 10-15 år gammal utvärdering blir obsolet och inte speglar det aktuella kunskapsläget. Utvärderingens användning främjas även om resultaten offentliggörs och lanseras vid en tidpunkt och i en kontext då ämnet eller frågeställningen står på agendan av andra skäl. Utvärderingen av matematikforskning sammanföll med den s.k. matematikkrisen i svensk skola, med en lång följd av sjunkande resultat i internationella mätningar som PISA och TIMSS. Detta innebar att det på flera håll fanns en vilja hos beslutsfattare att göra något åt saken. Detsamma kan knappast sägas om ämnet teknisk mekanik. Användningen kan vidare påverkas av omfattningen och detaljeringsnivån i rekommendationerna från utvärderarna. I matematikutvärderingen angavs en stor rad strukturella problem och föreslagna åtgärder i panelens rekommendationer, medan detta var mycket blygsamt förekommande i utvärderingen av forskningen i teknisk mekanik, vilken främst riktade in rekommendationerna på enskilda enheter och sub-discipliner. Ytterligare en preliminär slutsats är att en vad som till synes är en icke-användning kan vara betydelsefull genom att effekten är att en planerad åtgärd, t.ex. en ekonomisk nedskärning, inte genomförs. 9 10 Referenser Centre for Social Innovation (Zentrum für Soziale Innovation; 2012). Research and Technology Policy Evaluation – Evaluation Standards in Research and Technology Policy, (Österreichische Plattform für Forschungs– und Technologieevaluierung (ftEval)). www.fteval.at (Wien) Fylan, F. (2005). Semi-structured interviewing. I Miles, J. & Gilbert, P.: A Handbook of Research Methods in Clinical & Health Psychology; s. 65-78. Oxford: Oxford University Press. Ivarsson, M. Vill du ha din frihet får du ta den, Ulf Lundell – en biografi, Volym II: 1983–1992. Stockholm: Ordupplaget. Judd, B. & Randolph, B. (2006). Qualitative Methods and the Evaluation of Community Renewal Programs in Australia: Towards a New National Framework. I: Urban Policy and Research. Vol. 24, No.1, 97–114. Patton, M. Q. (2011). Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. New York: Guilford. Statistiska Centralbyrån (SCB) & Högskoleverket (HSV; 2011). Standard för svensk indelning av forskningsämnen 2011. Uppdaterad 18 december 2012. Stern, E., Stame, N., Mayne, J., Forss, K. and Befani, B. (2012). DFID Working Paper 38. Broadening the range of designs and methods for impact evaluations; pp. vi + 92. London: Department for International Development (DFID). Svenska Dagbladet (2013-04-08). Vi satsar halv miljard på matematik. Debattartikel av Sven Stafström (Vetenskapsrådet (VR)), Torbjörn Fagerström (Stiftelsen för Strategisk Forskning (SSF)), Peter Wallenberg Jr. (Knut och Alice Wallenbergs Stiftelse (KAW)) & Göran Sandberg (Knut och Alice Wallenbergs Stiftelse (KAW)). http://www.svd.se/opinion/brannpunkt/vi-satsar-halv-miljard-pa-matematik_8056528.svd Trost, J (2007). Kvalitativa intervjuer. Studentlitteratur, Lund. Vedung, E. (2009). Public Policy and Program Evaluation. New Brunswick: Transaction Publishers. Vetenskapsrådet (2010). Evaluation of Swedish Research in Mathematics. Vetenskapsrådets rapportserie 16:2010. Vetenskapsrådet (2013). Evaluation of Swedish Research in Mechanical Engineering. Vetenskapsrådets rapportserie 1:2013. Zinöcker, K. (2015). Opening speech at special session on the dynamics of standards. European Network of Indicators Designers (ENID) – 20th International Conference on Science and Technology Indicators, Lugano 2-4 September 2015. 10
© Copyright 2024