Evaluering - Fra kontroll i etterkant til et element i utviklingen

Evaluering ‐ Fra kontroll i etterkant til et element i utviklingen fremover – Klynge caset
Knut Senneseth Utvärderingsnätverket Stockholm 27 mai 2015
Formål:
Innovasjon Norge er staten og fylkeskommunenes virkemiddel for lønnsom næringsutvikling over hele landet
Hovedmål:
Innovasjon Norges virkemidler og tjenester skal skape flere gode gründere, flere vekstkraftige bedrifter og flere innovative næringsmiljøer
Foto: Aak AS
Evalueringer ‐ Et felles rammeverk
Relevance Effectiveness Efficiency
Impact Sustainability ₊
₊
Seleksjonskriteriene
En avgjørelse innen rimelig tid The DAC Principles for the Evaluation of Development Assistance, OECD (1991), Glossary of Terms Used in Evaluation, in ‘Methods and Procedures in Aid Evaluation’, OECD (1986), and the Glossary of Evaluation and Results Based Management (RBM) Terms, OECD (2000).
Strategi‐ og tjenesteutvikling basert på ny eller oppdatert kunnskap ‐ læringssløyfa Hva er
utfordringene?
Endringstrekk
i økonomien
Hva har
vi lært?
Behov og etterspørsel i næringslivet Politiske premisser/
Teoretiske og mandat
prinsipielle begrunnelser
Strategi &
tjenester
Hva gjør vi
og hvordan?
Empiri om
effekter
1.
Det må foreligge markedssvikt som hemmer verdiskaping og vekst i samfunnsmessig forstand.
2.
Markedssviktens konsekvenser må være større enn kostnaden ved å gripe inn i markedet.
3.
Virkemiddelet som implementeres må være egnet til å korrigere markedssvikten på en ønsket måte.
4.
Det skal være et klart definert mål på hva virkemiddelet skal bidra til. 5.
Det må ikke være alternative virkemidler som er bedre i stand til å oppfylle virkemiddelets mål.
6.
Seleksjonskriteriene for når virkemiddelet vil komme til anvendelse skal være tydelige og forutsigbare.
7.
Det skal være enkelt å administrere virkemiddelet, slik at kostnadene med å ta det i bruk er små i forhold til gevinstene som oppnås.
8.
Aktørene som søker å komme inn under virkemiddelet må kunne forvente en klar avgjørelse innen rimelig tid. Melding til Stortinget nr. 22 (2011‐2012) Verktøy for vekst – om Innovasjon Norge og SIVA SF. Side 116
Ett overblikk ‐
Innovative næringsmiljøer ‐ fra 2002/03 til i dag
GCE
Norwegian Centres of Expertise
Arena programmet
Marint verdiskapingsprogram
Bedriftsnettverk
Ulike samarbeidsprosjekter
Hva er et "innovativt næringsmiljø"?
Dette er en samlebetegnelse for ulike typer allianser mellom nærings‐ og kunnskapsaktører. Formålet er å samspille og samarbeide om innovasjons‐ og utviklingsprosesser. Slike allianser kan være organisert som:
• En klynge, i betydningen en geografisk konsentrasjon av bedrifter og kunnskapsmiljøer som er koplet sammen gjennom felles interesser. • Et nettverk av bedrifter og kunnskapsaktører, organisert for å fremme felles interesser eller for å gjennomføre konkrete felles prosjekter.
• En organisert utviklingsprosess som samler en bredt sammensatt gruppe av både private og offentlige aktører for en felles strategisk utviklingsprosess, f.eks. en omstillingsprosess innenfor en region.
Klyngearbeidet i Innovasjon Norge ‐
Tre nivåer som skal evaluere og lære
Delmål innovative næringsmiljøer
Programmet
Prosjektet
Oversikt over programmene Startet 1. juli 2014
Arena
Norwegian Centres of
Expertise
Global Centres of Expertise
Målgruppe
Klynger i en tidlig fase
Modne klynger med nasjonal posisjon
Modne klynger med global posisjon
Støtteperiode
3‐5 år
5‐10 år
Inntil 10 år
Årlig støtte pr. prosjekt
NOK 1,5‐3 mill.
NOK 4‐6 mill.
NOK 8‐10 mill. Antall klyngeprosjekt
ca. 20
10‐12
4‐5
Utvelgelse
Årlig åpen konkurranse – Klare kriterier – Ekstern evaluering
Klynge evalueringer –
noen grunnleggende elementer
• Teoretisk rammeverk
• Design ‐ programteori
• Aktivitet & dosering – resultat – effekt
• Informasjon Programteorien som utgangspunktet Programmenes effektkjede
Effekter
Mer lønnsomme og vekstkraftige bedrifter
Økt innovasjonsevne
Resultater
Økt internasjonal orientering
Økt synlighet og attraktivitet
Økt samarbeid mellom bedrifter/med kunnskapsmiljøer
Aktiviteter
Aktiviteter for å oppgradere klyngen
Resultatoppfølgingsregimet Underveis‐
evalueringer
Nullpunktsanalyse
Utvelgelseskriterier> prosjektevalueringer
Prosjekt
Slutt‐
evalueringer
Klyngeprosjekt og bedriftene
Årsrapporter
Program
Programevalueringer
Hvert 4/5 år
Årlige aggregerte rapporter:
Aktivitets‐/resultatdata
Årlige porteføljevurderinger
Survey til bedriftene om samarbeidsrelasjoner
Årlige populariserte rapporter:
10 case + nøkkeldata
Innovasjon Norges rapportering
Effekt analyser
SSB
Nytt rapporteringsopplegg
Støttende analyser
Effektanalyser
SSB
Kjerne‐
bedrifter
Andre
aktive bedrifter
Survey‐
undersøkelse
Klyngens egne registreringer
Programmets
Program‐
rapport
Program‐
mets
mets
rapport
rapport
Flere innovative næringsmiljøer Klyngeorg./Klyngens rapport
15
Effektkjeden i praksis (versjon 1)
Signifikant høyere vekst i omsetning og antall ansatte de første tre årene
658
261
428
felles innovasjonsprosjekter
internasj. prosjekter
Kompetanse‐/utdanning
1863 bedrifter ( 159 )
331 Hver bedrift:14 nye samarbeidsrelasjoner
FoU/utviklingsaktører
35 klyngeprosjekter
140 mill kr til klynger
26 mill kr til utvikling og gjennomføring
16
klynger ‐ Noe utfordringer og «løsninger»
• Heterogenitet • Selvseleksjon og seleksjon
• Dynamikk • Avgrensning
• Aktivitet – resultat – effekt
Mainstreaming or not?
Klynge versus klyngeprosjekt
Klyngeprosjekt – noen valg i forbindelse med Mål og resultatstyring 1.0 Medlem/ikke‐medlem
•
•
Aktiv i minst tre år
Oppdaterte medlemslister
Resultat
•
Økt antall samarbeids‐
relasjoner
Effekt •
•
•
Økt salg
Økt antall ansatte
Økt avkastning på kapitalen
Men et annet problem består Arenamedlemmene – fordelt på prosjekt og kommune
• Se over rapporterings‐/evalueringsregimet
• Vi må bedre forstå effektene – hvem og hvorfor
• Vi må bedre forstå de lokale og regionale utviklingskonsekvensene
Programmets effektkjede – behov for å synliggjøre og måle øvrige effekter
Utvidet forståelse av effekter av klyngesatsingen – noen dimensjoner:
Nyetableringer og investeringer Regionaløkonomiske ringvirkningseffekter
Effekter for bransjens
innovasjonsevne
Bedre kunnskapsinfrastruktur/
kvalifisert arbeidskraft
Holdninger til/kultur for omstilling/nyskaping
To evaluate or not to evaluate – is not the question The effect of support from Innovation Norway on firm performance
By Ådne Cappelen, Erik Fjærli, Diana Iancu and Arvid Raknerud
«Metaevalueringer»
Problemet er ikke mangel på evalueringer
• Fra at hvert prosjekt er unikt til større grad av standardisering • Fra å kontrollere at det ble gjort riktig til å se aktivitet – resultat og effekt i sammenheng
• Fra å fokusere på enkelt resultatet av enkelt innsatser til forstå hvor ulike innsatser virker sammen • Fra enkelt evalueringer på «slutten» til som en kontinuerlig prosess hvor evaluering er et element
Takk for oppmerksomheten