Evaluering av FRAM
21/05/14 Evaluering av FRAM 2007-2013 For information on obtaining additional copies, permission to reprint or translate this work, and all other correspondence, please contact: DAMVAD [email protected] damvad.com Copyright 2013 2 EVALUERING AV FRAM | DAMVAD.COM Innhold Sammendrag 6 Executive summary 13 1 Innledning 15 2 Beskrivelse av FRAM-programmet 16 2.1 FRAM er ett av Innovasjon Norges virkemidler tilknyttet mål om vekstkraftige bedrifter 16 2.2 FRAM-programmet har utviklet seg over tid 17 2.3 Målgruppen er små og mellomstore bedrifter med vilje og evne til vekst 18 2.4 FRAM gir bedrifter kompetanse på bedriftsutvikling i ulike former 18 2.5 FRAM-programmet administreres av Innovasjon Norge i samarbeid med private 2.6 konsulenter 19 Kjennetegn ved deltakerne i FRAM 2007-2013 21 Type FRAM program 21 Bruk av FRAM innenfor/utenfor det distriktspolitiske virkeområdet 21 Bruk av FRAM i de ulike fylkene 22 FRAM-bedriftenes bruk av andre offentlige virkemidler 22 FRAM-deltakernes økonomiske utvikling skiller seg ikke fra gjennomsnittet i samme næring 24 FRAM-deltakerne innenfor det distriktspolitiske virkeområdet er gjennomgående noe svakere enn deltakerne utenfor 3 4 25 Evalueringsmodell og metode 26 3.1 Relevans, målrealisering og effektivitet 26 3.2 Virkninger av kompetansetiltak 27 3.3 Metodetriangulering 28 Dokumentstudier 29 Spørreundersøkelse rettet mot deltakerbedrifter 29 Dybdeintervjuer med FRAM-apparatet og bedrifter. 29 Regnskapsstatistikk og propensity score matching 30 Samspillsdatabasen (DAMVAD) 30 Referansegruppemøter 30 Relevans 31 4.1 FRAM skal bidra til profesjonalisering, innovasjon og markedsorientering 31 4.2 Markedssvikten er knyttet til asymmetrisk informasjon 34 4.3 Målgruppen til FRAM-programmet er modne for endring, men mangler informasjon om løsninger 4.4 35 Målgruppen skiller seg noe fra programtype til programtype 36 FRAM-programmet er godt innrettet for å nå målgruppen 37 FRAM-programmet når også bedrifter som antakelig ikke har reelt behov 38 FRAM er relevant i alle geografiske områder, men benyttes i ulik grad 39 EVALUERING AV FRAM | DAMVAD.COM 3 5 4.5 Deltakerbedriftene opplever samlinger og rådgivningen som relevant 40 4.6 Er alt faglig påfyll like relevant? 40 Målrealisering, resultater og effekter 43 5.1 Respondentene har vært igjennom mange forskjellige kunnskapsområder 43 5.2 Samlingene og rådgivningen står særlig sentralt i FRAM-prosessen 47 Samlingene 47 Rådgiverne 48 Nettverket 49 Prosjektlederne 50 5.3 Økt kunnskap og verktøy, særlig innen profesjonalisering og markedsorientering 51 5.4 Ny kompetanse endrer adferd i bedriftene 52 5.5 Noen bedrifter får bedre resultater som følge av deltakelse i FRAM 54 Profesjonalisering 55 Markedsorientering 55 Innovasjon 56 Økonomiske resultater 58 Bedriftene i distriktsfylker oppgir i noen grad mer positive resultater av FRAM deltakelse 6 60 5.6 FRAM Marked 61 5.7 FRAM Innovasjon 62 5.8 Økonomiske effekter kan ikke dokumenteres 63 Organisering og effektivitet 65 6.1 Organisering av FRAM-programmet fungerer i hovedsak bra 65 6.2 FRAMs insentivstruktur påvirker rekrutteringen av bedrifter 65 FRAM-rådgivere har insentiv til å sikre inntjening 66 Prosjektledere har også insentiv til å sikre inntjening 67 Insentivstrukturen tydeliggjør viktigheten av Innovasjon Norge som part i FRAM 67 7 4 Rekruttering av bedrifter kan muligens effektiviseres 68 Behov for særlig selektiv rekruttering til FRAM Marked 68 6.3 6.4 Samlingsmateriale krever stadig utvikling Endringer i programmet i 2008 og i 2012 68 70 6.5 Evaluering for utvikling av programmet 70 6.6 Samfunnsøkonomisk vurdering av FRAM-programmet 71 Kostnadselementer i FRAM 71 Er FRAM samfunnsøkonomisk lønnsomt? 74 Oppsummering og anbefalinger 75 7.1 Oppsummering 75 7.2 Anbefalinger 75 7.3 Forslag til evalueringssystem 76 EVALUERING AV FRAM | DAMVAD.COM Referanser 77 Vedlegg 1 Kompetanseområder i FRAM 78 Vedlegg 2 Propensity Score Matching – metode 79 A. Estimere en «propensity score» 80 B. Propensity Score Matching 81 C. Estimere effekten av deltagelse 83 D. Etablere data 85 Vedlegg 3 Oversikt over FRAM-deltakernes øvrige virkemiddelbruk 86 Innovasjon Norge 86 Norges Forskningsråd 87 SkatteFUNN 88 EVALUERING AV FRAM | DAMVAD.COM 5 Sammendrag FRAM er et kompetanseutviklingsprogram rettet Bakgrunn mot små- og mellomstore bedrifter i en vekstfase. Evalueringen av FRAM 2007 – 2013 er gjennomført Bedriftene skal gjennom faglig påfyll på samlinger, på oppdrag fra Innovasjon Norge. I henhold til kon- individuell rådgiving og erfaringsutveksling med kurransegrunnlaget og DAMVADs fortolkning av andre bedrifter øke sin profesjonalitet, sin markeds- dette, er evalueringens problemstilling tredelt: orientering og sin innovasjonsevne slik at bedriften får økt lønnsomhet. Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag? Evalueringen av FRAM tyder på programmet er re- Når programmet ønskede resultater og ef- levant for å møte de utfordringene små- og mellom- fekter i form av å styrke deltakernes konkur- store bedrifter står overfor i dag. Bedriftene som har ransekraft, lønnsomhet og innovasjons- deltatt er svært fornøyde og oppgir betydelig kunn- evne? skapsheving. Det er imidlertid vanskelig å spore en Er programmet hensiktsmessig organisert konkret økonomisk effekt i regnskapene til bedrif- for å nå sine mål og er det kostnadseffek- tene og bare 20 pst. av bedriftene mener at FRAM i tivt? stor grad har bidratt til økt lønnsomhet. Dette kan henge sammen med at det tar lengre tid å observere konkrete effekter av en bedriftsutviklingsproses. Beskrivelse av FRAM Selv om konkrete økonomiske effekter er vanskelig FRAM-programmet skal bidra til økt lønnsomhet i å spore, mener 81 pst. bedriftene at programmet deltakende bedrifter, gjennom økt kompetanse på samlet sett har gitt positiv effekt, og 80 pst. ville del- forretningsutvikling. Programmet er ett av Innova- tatt igjen om de fikk mulighet. Sett i lys av at den sjon Norges virkemidler for å bidra til vekst i bedrif- største kostnaden ved programmet er det bedriftene ter. Bedriftene som deltar skal være små- eller mel- selv investerer av tid og penger, er DAMVADs vur- lomstore og være i en positiv vekstbane. dering at programmet er nyttig. I dag er det tre hovedvarianter av FRAM-programmet, med noe overlapp i kompetanseområder: Det er likevel mulig å gjøre noen forbedringer. FRAM kan med fordel legge mer vekt på rekrutteringsfasen for å sikre at man når den riktige målgruppen. Mulig bør det også tilstrebes å rekruttere retisk innføring i strategi og ledelse. mellom Innovasjon Norge og de innleide konsulentene som har mer operativt ansvar, særlig i form av FRAM Marked: Økt markedskompetanse som grunnlag for vellykket internasjonalise- mer utenfor Innovasjon Norges kundedatabase. Det er også potensiale for ytterligere avklart rolledeling FRAM Strategisk ledelse: Praktisk og teo- ring. FRAM Innovasjon: Støtte i egne innovasjonsprosesser. ressursbruk på å holde seg faglig oppdatert. Forbedringer kan også gjøres med hensyn til å etablere FRAM tilbys bedrifter i form av fellessamlinger med et mer strømlinjeformet evalueringssystem. faglig påfyll, skreddersydd rådgivning til hver enkelt bedrift og nettverk (erfaringsutveksling). Programmet går typisk over 10 til 24 måneder, og inneholder 4 til 6 fellessamlinger for grupper bestående av 8 – 12 bedrifter. 6 EVALUERING AV FRAM | DAMVAD.COM Innovasjon Norge har tilknyttet seg et korps av pro- av programmet. Fordelen med regnskapsstatistikk sjektledere og rådgivere som benyttes i selve gjen- er at dette er objektive data. Det vil imidlertid alltid nomføringen av FRAM-samlinger og til rådgivning- være utfordringer knyttet til dataens kvalitet. stimer. Disse konsulentene har også egen praksis med bedriftsrådgivning på det private markedet. Konsulentene rekrutteres gjennom en anbudspro- FRAM programmet er relevant for en smal målgruppe sess som hovedkontoret til Innovasjon Norge admi- FRAM er etablert for å gjøre små- og mellomstore nistrerer, og er i praksis sertifisert for fire år om virksomheter mer profesjonelle, mer markedsorien- gangen. terte og mer innovative. Dette skal bidra til at bedrif- Bedriftene rekrutteres i hovedsak gjennom Innovasjon Norges kundeportefølje, men også gjennom tene får økt lønnsomhet. Vi har definert profesjonalitet som evne til å utvikle funksjoner, rutiner og pro- nettverkene til de innleide konsulentene. Bedriftene sesser for oppgaveløsning og samhandling. Mar- gjennomgår en grundig situasjonsanalyse før de får kedsorientering har vi definert som evne til å om- tilbud om å være med i programmet. Bedriftene be- sette kunnskap om marked i effektiv virksomhets- taler en egenandel som fastsettes av Innovasjon strategi. I dette inngår at bedriften må forstå sitt mar- Norges distriktskontor, i tillegg til utgifter til reise og ked og sine konkurrenter og evne å utvikle sin leve- opphold på fellessamlingene. ranse i lys av slik forståelse. Innovasjonsevne handler om å utnytte eksisterende ressurser på nye måter eller ta i bruk nye ressurser. Innovasjonskompe- Metodebruk tanse handler i denne sammenhengen om kunn- Evalueringen er basert på dokumentstudier, dybde- skap om operasjonalisering av innovasjonsproses- intervjuer, referansegruppemøter, en spørreunder- ser og tilrettelegging for innovasjon i bedriften. søkelse og gjennomgang av regnskapsstatistikk (propensity score matching). Siden all metodebruk både har fordeler og ulemper er det hensiktsmessig med flere ulik metoder for å styrke evalueringens robusthet. Dybdeintervjuene har vært særlig sentrale i å forstå innretningen på programmet, sammenhenger og forventede resultater av programmet. Spørreundersøkelsen er nyttig for å nå ut til en I tillegg til å vurdere om programmet svarer på faktiske behov, drøfter evalueringen begrunnelsen for offentlig støtte til å imøtekomme slike behov. Hvilket problem er det FRAM løser som virksomhetene ikke selv kan løse? Og hvorfor kan tjenestene ikke anskaffes av virksomhetene selv i markedet? Er det en markedssvikt som rettferdiggjør offentlig inngripen? større respondentmasse og få kvantitativ data på Evalueringen tyder på markedssvikten er knyttet til hva FRAM har bidratt til. Spørreundersøkelsen er asymmetrisk informasjon. Bedriftene underinveste- hovedkilden til bedriftenes oppfatning av program- rer1 i kompetanse på forretningsutvikling fordi fram- met. Ulempen med en spørreundersøkelse er at tidig gevinst er vanskelig å se på investeringstids- tolkningsproblemer kan oppstå, og dataen er sub- punktet. Målgruppen for FRAM er således bedrifter jektiv. Spørreundersøkelsen er derfor supplert med som har et behov for kompetansetilførsel (og ønske en undersøkelse av bedriftenes regnskapsutvikling for å forsøke å spore konkrete økonomiske effekter 1 Investerer mindre enn det som kan sies å være samfunnsøkonomisk optimalt EVALUERING AV FRAM | DAMVAD.COM 7 om endring), men som ikke vet hva slags kompe- arbeid mellom IN distriktskontor, FRAM-prosjektle- tanse de trenger eller hvordan de kan få tilført denne dere og rådgivere bidrar blant annet til at program- kompetansen. met når ut til flere. Dette er en relativt smal målgruppe. Bedrifter som ikke er endringsvillige er antakelig ikke modne nok FRAM-programmet har utviklet seg over tid, fra å eller motiverte nok for å delta på FRAM. Bedrifter og tilpasning til den enkelte bedrift. Svarene på som er mer bevisste på hva slags kompetansetilfør- spørreundersøkelsen indikerer at bedriftene som sel de trenger bør kunne oppsøke rådgivningstje- deltok på FRAM i den mer rigide perioden opplever nester på det private markedet. Målgruppen til relevansen som høyere enn bedrifter som har del- FRAM skal således være medium modne. tatt i en mer fleksibel ordning. Økt målretting og til- Videre skal programmet rettes mot bedrifter som «har økonomisk styringskraft», men som likevel har behov for støtte. Denne avveiningen er i kjernen av hele Innovasjon Norges virksomhet. Programmet være et relativt rigid kursopplegg, til mer fleksibilitet pasning for den enkelte bedrift gjør at felles opplegg på samlinger ikke nødvendigvis er like relevant for alle. Målgruppen blir større, og langt mer heterogen – noe som vanskeliggjør enn god (nok) tilpasning. skal være addisjonelt på den måten at deltakerne Det er store geografiske forskjeller knyttet til hvilke skal kunne nyttiggjøre seg av programmet men distriktskontor som tar FRAM i bruk. Nordland peker samtidig skal de sannsynligvis ikke ville ha kjøpt til- seg ut ved at svært mange bedrifter har deltatt i svarende tjenester i markedet. FRAM i perioden vi har sett på. Variasjoner er knyt- En grundig utvelgelsesprosess gir et godt grunnlag for å treffe målgruppen slik at programmet er addisjonelt. Samtidig vil etterspørselen etter denne typen programmer kanskje være større blant bedrifter som opplever store utfordringer enn blant bedrifter som er opptatt av å vokse. Graden av og betingelsene for vekstkraft i målgruppen er en utfordrende tet til prioriteringer på det enkelte distriktskontoret, og midlene de har til rådighet. Alle distriktskontorene vi har snakket med i evalueringen opplever at FRAM er relevant – uavhengig av om det er bedrifter innenfor eller utenfor virkeområdet. Kompetansebehovene i bedrifter likner hverandre på tvers av fylker og regioner. problemstilling. Det er ikke entydig at det er de Evalueringen indikerer imidlertid at FRAM har gitt sterke bedriftene som har brukt FRAM i den perio- noe mer positive resultater for bedriftene som er in- den vi har sett på. nenfor det distriktspolitiske virkeområdet enn de Evalueringen tyder på at bedriftene som deltar i FRAM styrker sin kompetanse på områder som er relevante for dem. Det er for øvrig ikke sikkert at In- som er utenfor. Dette kan tolkes i retning av at FRAM i større grad klarer å treffe riktig målgruppe i distriktene. novasjon Norge treffer målgruppen med størst behov. Rekrutteringen skjer primært gjennom Innova- Måloppnåelse, resultater og effekter sjon Norges kundeforhold (både gjennom at bedrif- Evalueringen vurderer måloppnåelse på fire nivåer: tene har fått støtte tidligere, eller at de har vært i mer bedriftenes respons, tilegnet kompetanse, atferds- uformell kontakt med Innovasjon Norge). Bedrifter endringer som følger av ny kompetanse, og resulta- uten historikk i Innovasjon Norge eller hos rådgi- ter og effekter av slik atferdsendring. verne kan dermed i prinsippet falle utenfor. Dette vurderes som en liten men reell risiko. Trepartssam- 8 EVALUERING AV FRAM | DAMVAD.COM Bedriftene som har deltatt uttaler seg positivt om FRAM. Det er ikke gitt at økt kunnskap faktisk end- FRAM programmet og vektlegger særlig kompetan- rer adferd, selv om det ofte er hensikten. Evalue- sebyggingen. Av de tre hovedelementene i FRAM; ringen tyder dermed på at kompetansen kommer til samlinger, rådgivning og nettverk, er det særlig nytte. samlingene og rådgivningen som får positiv respons. Tilbakemeldingene fra bedriftene er at prosjektleder i stor grad evner å gjøre samlingene relevante. Bedriftene er også svært fornøyd med sine rådgivere, og kun et fåtall bytter rådgiver underveis. De få som bytter rådgiver begrunner det ved at rådgiver ikke hadde relevant kompetanse, at rådgiver ikke fulgte opp eller at rådgiver måtte avslutte programmet av ulike årsaker. Intervjuene med bedriftene tyder på at det er ulike typer endringer som gjennomføres. Noen endringer er svært konkrete og handler eksempelvis om å skaffe seg et IT-system, eller bytte lokalisering på bedriften. Andre endringer er mer knyttet til tankesettet; at bedriften endrer bevisstheten knyttet til hvordan de kan drive mer lønnsomt. På bakgrunn av denne bevisstgjøringen gjennomfører bedriftene mer systematiske strategiprosesser. Spørreunder- Bedriftene er i mindre grad opptatt av FRAM som et søkelsen tyder på at bedriftene særlig gjør end- nettverksskapende virkemiddel. Det er positivt med ringer knyttet til å gjennomføre strategiprosesser og erfaringsutveksling på samlingene, og underveis i etablere nye mål og prioriteringer (76 prosent). prosessen, men bedriftene har i liten grad kontakt Dessuten har svært mange utviklet forretningspla- med hverandre etterpå. I den grad nettverk oppstår nen (69 prosent). 56 prosent oppgir at FRAM har er det mer snakk om en bieffekt av programmet enn bidratt til å igangsette nye innovasjonsprosesser. et formål. Vi finner det derfor nærliggende å beskrive de tre hovedelementene i FRAM som: faglig påfyll, erfaringsutveksling og individuell rådgivning i stedet for samlinger, nettverk og rådgivning. Bedriftene rapporterer om resultater på flere områder, men særlig i form av bedre forretningsplan, bedre økonomi og bedre ledelse. Innen profesjonalisering oppgir rundt 60 prosent at FRAM har bidratt Kunnskapen bedriftene får gjennom FRAM er sær- til konkrete resultater. Det framkommer av evalue- lig knyttet til profesjonalisering og markedsoriente- ringen at det er færre bedrifter som oppgir at de har ring. Denne kompetansehevingen bidrar til atferds- oppnådd konkrete resultater enn bedrifter som har endringer i bedriftene, som igjen har gitt positive re- gjort endringer. At svarprosenten er lavere når det sultater. FRAM bidrar på denne måten å nå Innova- gjelder konkrete resultater enn atferdsendringer kan sjon Norges delmål om å skape flere vekstkraftige skyldes at ikke alle endringer vil gi resultater, eller bedrifter. Målrettet kompetansebygging innen inno- at resultatene kommer på et senere tidspunkt. Pro- vasjon er relativt nytt og det er dermed vanskelig å fesjonaliseringsarbeid og markedsorientering er påvise konkrete effekter. kontinuerlige prosesser, der konkrete resultater er Over 90 pst. av bedriftene har gjort endringer knyttet vanskelige å måle. til profesjonalisering, mens litt under 90 pst. av be- Innen markedsorientering er resultatene svakere driftene har gjort endringer knyttet til markedsorien- enn innen profesjonalisering. Litt under 50 prosent tering og litt over halvparten har gjort endringer av bedriftene oppgir at FRAM har bidratt til konkrete knyttet til innovasjon. Gjennomføring av endringer resultater innen markedsorientering. Flere bedrifter er krevende og det er imponerende at nesten alle oppgir nye kontrakter både i nye og i eksisterende bedriftene har gjort konkrete endringer som følge av markeder. Bedrifter oppgir større grad av utvikling EVALUERING AV FRAM | DAMVAD.COM 9 på forståelse av marked enn forståelse av konkur- en relevant variable for bedrifter som opplever bety- renter. For å være markedsorientert skal bedriften delige utfordringer. I de senere årene har FRAM både ha større forståelse for markedet den opererer styrket sin vektlegging av vekstkraft i utvelgelse av i, men også forståelse for konkurrenter som opere- deltakerbedrifter. Det betyr at deltakerne skal være rer i samme marked. godt etablerte bedrifter i vekst og med gode resulta- Evalueringen finner svakere resultater knyttet til innovasjonsevne. FRAM har bidratt til å igangsette innovasjonsprosesser (adferd), men bedriftene svarer i liten grad at de har etablert bedre systemer for innovasjon (resultat). Av de bedriftene som har satt ikke være et relevant resultat av FRAM. Når overlevelsesmulighet likevel oppleves som en viktig effekt for deltakerbedriftene, kan det tyde på at rekrutteringen i stor grad også omfatter svakere bedrifter. i gang innovasjonsprosjekter, er innovasjonsgraden FRAM har i liten grad bidratt til at bedriftene har fått lav sammenlignet med Innovasjon Norges kundeef- nye markeder i utlandet; nesten ingen oppgir at fektundersøkelse. Funnene kan gjenspeile at FRAM FRAM har bidratt til økt eksport eller større mar- (med unntak av FRAM Innovasjon som er nytt) ikke kedsandeler utenlands. Markedsorientering har er et innovasjonsprogram. Det skal også understre- kommet mer og mer på dagsorden de siste årene, kes at kompetansen, atferdsendringene og resulta- og det tar tid før økt markedsorientering bidrar til ter innen innovasjonsevne har økt med tiden, i takt konkrete resultater. Dette kan forklare noe av grun- med at det har kommet mer og mer på dagsorden i nen til at resultatene er såpass svake. Dessuten re- FRAM. Det skal også understrekes at evalueringen krutterer Innovasjon Norge også bedrifter til FRAM har ønsket å undersøke hvorvidt bedriftene har igangsatt systematiske innovasjonsprosesser. In- Marked som i hovedsak ønsker å undersøke et mar- novasjon i bedrifter kan også oppstå mer usystema- ked. For disse bedriftene kan resultatet av deltakelse i FRAM være at de ikke går inn i dette marke- tisk og tilfeldig. det fordi de har fått innsikt og kunnskap som bidrar I spørreundersøkelsen har deltakerbedriftene svart på hvordan FRAM har innvirket på økonomiske re- til en forståelse om at det sannsynligvis ikke vil være lønnsomt. sultater. Svarene kan både si oss noe om effektene Med utgangspunkt i regnskapsstatistikken er det av FRAM og deltakerbedriftenes utgangspunkt. vanskelig å spore konkrete økonomiske effekter av Omtrent 20 pst oppga at deltakelsen i FRAM i stor FRAM. For et program som har eksistert over så- eller svært stor grad har ført til bedret lønnsomhet pass lang tid som FRAM, vil det være naturlig å for- eller økt omsetning. Svarene understøttes imidlertid vente en økt lønnsomhet og vekst i deltakende be- ikke av regnskapsanalysen, der vi ikke finner øko- drifter over tid. Regnskapsanalysen sammenlikner nomiske effekter av deltakelse i FRAM (utdypes bedrifter som har deltatt i FRAM med en kontroll- nærmere senere). gruppe som består av et utvalg bedrifter som ikke I tillegg har 28 pst svart at FRAM i stor eller svært stor grad har styrket bedriftens overlevelsesmulighet. Det siste gjelder både for bedrifter som deltok i 10 ter. Overlevelsesmulighet skal dermed i prinsippet har deltatt men som langs en rekke andre parametre likner deltakerbedriftene (eks. antall ansatte, omsetning, gjeldsgrad, næring, alder mv.). en tidlig fase og bedrifter som har deltatt de siste Når evalueringen likevel ikke kan dokumentere ef- årene. Økt lønnsomhet og omsetning er viktig for fekter i form av økt lønnsomhet kan dette bety flere alle bedrifter. Overlevelsesmulighet er i større grad ting. For det første er en utfordring at tidsserien etter EVALUERING AV FRAM | DAMVAD.COM deltakelse i FRAM er relativt kort i regnskapssta- FRAM har utviklet seg over tid, fra å være et relativt tistikken. Jo senere deltakerår, jo kortere tidsserie rigid kurs med faste moduler, til økt fleksibilitet og har vi å ta utgangspunkt i. Vi vet ikke sikkert, men tilpasning til den konkrete gruppen av bedrifter som det kan tenkes at effekter kommer til syne på et deltar. I tråd med dette har Innovasjon Norge endret enda senere tidspunkt. organisering og arbeidsform. I begynnelsen utarbei- Det er også verdt å ta med seg at den enkelte deltaker kan få et stort personlig utbytte, men kun i begrenset grad lykkes med å ta effektene ut i form av økt lønnsomhet i egen bedrift. Mulig kommer denne gevinsten til syne på et senere tidspunkt, i en annen bedrift. det Innovasjon Norge ulike typer notater og kompendier som prosjektlederne kunne ta utgangspunkt i ved presentasjon av faglig innhold på samlinger. Dette arbeidet er redusert i tråd med at prosjektlederne har fått økt fleksibilitet i utformingen av FRAM. Prosjektledere gjør større bruk av eksterne foredragsholdere med spisskompetanse på temaene på samlingene. Organisering og effektivitet Innovasjon Norges hovedkontor utvikler stadig noen Evalueringen tyder på at organiseringen av FRAM i konkrete moduler som er obligatoriske, på bakgrunn hovedsak fungerer bra, selv om det er mange aktø- av kunnskapsinnhenting om norske bedrifters be- rer involvert i gjennomføringen av programmet. hov. Evalueringen tyder på at det ikke egentlig er problematisk med så mange aktører, snarere tvert imot. Fordi rolledelingen er ganske godt definert kommer spisskompetansen til de involverte aktørene i spill på en god måte. Fleksibilitet er verdifullt av flere grunner. En av begrunnelsene er at man da når ut til flere. En annen begrunnelse er at FRAM-prosessen er mer omstendelig og individuelt tilpasset enn kurs og kompetansepakker som tilbydere på det private markedet gir. Evalueringen tyder likevel på at det er noen områ- Økt fleksibilitet gjør imidlertid at rekruttering er enda der det er overlapp i ansvarsområder mellom de mer utfordrende, og er derfor et punkt som Innova- ulike aktørene. Det er rom for forbedringer på re- sjon Norge bør være kontinuerlig opptatt av. krutteringssiden, i utvikling av samlingsmateriale og evaluering for utvikling av programmet. Samfunnsøkonomisk lønnsomhet er tilsynelatende lav ettersom effekter på lønnsomhet og verdiska- Hvordan rekruttering foregår er forskjellig fra fylke til ping2 ikke kan påvises i regnskapene. Selv om be- fylke, og det varierer i hvilken grad distriktskontoret driftene i spørreundersøkelsen oppgir samlet positiv er involvert. Innovasjon Norges involvering i rekrut- effekt, identifiserer evalueringen ikke faktisk økono- teringsfasen er avgjørende for å sikre at program- misk effekt. Det er imidlertid noen forbehold knyttet met treffer den riktige målgruppen. Det er Innova- til dette. Selv om regnskapsanalysen tar høyde for sjon Norge som bør ha siste ordet når det gjelder en rekke usikkerheter, vil det fortsatt være usikker- bedriftsdeltakelse for å sikre at det ikke rekrutteres hetsmomenter og datakvalitet som spiller inn. Et an- for mange bedrifter uten reelt behov. net forbehold er knyttet til at det vi er usikre på hvor lang tid det tar før økonomiske resultater av FRAM synes i regnskapet. Et siste viktig punkt er at man 2 Definert som summen av driftsresultat, av- og nedskrivninger av varige driftsmidler og immaterielle eiendeler og lønnskostnad. EVALUERING AV FRAM | DAMVAD.COM 11 alltid vil kunne stille spørsmål om det er noen nytteeffekter eller gevinster av FRAM i tillegg til bedriftsøkonomisk lønnsomhet. Eksempelvis det at bedriftsledere får økt kunnskap kan være en nytte i seg selv, særlig i et livslangt læringsperspektiv. Fleksibiliteten i FRAM påvirker også hvordan programmet kan evalueres. Når programmet i stor grad er fleksibelt er det vanskelig å identifisere de konkrete målsetningene med programmet – fordi målsetningene skiller seg fra prosjekt til prosjekt og fra bedrift til bedrift. Hvis programmet i større grad er rigid, kan målsetningene ved programmet være tydeligere. Fleksibiliteten i FRAM gir noen utfordringer for oppfølging og fremtidig evaluering. Forslag til revidert rapporterings- og evalueringsopplegg som kan imøtekomme denne utfordringen presenteres i kapittel 7. 12 EVALUERING AV FRAM | DAMVAD.COM Executive summary FRAM is relevant to participating businesses, espe- prior to participation. There are several possibilities cially through learning events and one-to-one coun- for firms to buy business counseling in the market. selling services. It is effective in strengthening skills Yet small and medium-sized enterprises (SMEs) and participants greatly appreciate services pro- targeted by FRAM are not necessarily recognize or vided. Economic results are however not possible to articulate such needs. Consequently, offering public identify, possibly in part because many businesses counseling services can help overcome the barrier are still in early phases of implementing positive to seek advice. In fact, a number of business own- change. The program is efficiently administered yet ers report that they later have continued procuring a few overlaps exists, and the reporting system such services on their own account. A potential could be more streamlined. challenge relates to the targeting and identification processes, which concentrate on business already DAMVAD has conducted an evaluation of the enrolled in Innovation Norway’s client database. Alt- FRAM-program. FRAM is a program that seeks to hough additional recruitments also do happen, the increase corporate profitability by increasing busi- current structure could result in the missing out on ness owners' professionalism, market orientation certain types of sectors and businesses. and innovativeness. Innovation Norway and a group of certified business consultants administer the program. The Ministry of Local Government and Modernization and the Ministry of Trade, Industry and Fisheries finance the program. The evaluation addressed three questions: Is the program relevant to actual needs, aligned with best practice, and justified by a market failure that necessitates public inter- vention? Is the program effective in achieving its goals to strengthen skills and improve prof- itability? Is the program efficient in its organization and is it cost-efficient? The evaluation suggests that the FRAM-program is effective in strengthening skills among participating businesses, but effects are not traceable in terms of economic results. In the survey and through interviews, participants report that FRAM greatly contributes to increased knowledge, primarily in the field of professionalization such as improving the business plan, strategy thinking, and economics. FRAM also contributes to knowledge in market orientation, but to a lesser extent, and even less in innovation knowledge. The businesses are able to translate acquired knowledge into implementing change, especially in terms of professionalization. Overall, participants consider the program very useful; 81 pct. of the participating businesses believe that FRAM has led to positive effects. However, ef- The main findings of the evaluation are that the pro- fects are difficult to track in hard currency. An econ- gram is relevant to its target audience, but the target ometric analysis of income and profits for partici- audience is quite narrow. . The FRAM offering con- pants and non-participants finds no economic ef- sists of three main pillars: seminars, counseling, fects. It might be too early to see effects on the bal- and networking. The evaluation indicates that the ance sheet of changes implemented in the last few counseling is most highly valued, followed by semi- years. Yet a program targeting growing and robust nars and to a lesser extent networking. SMEs should be expected to also boost their bot- The market failure relates to asymmetrical infor- tom-line. mation, where gains to businesses are undervalued EVALUERING AV FRAM | DAMVAD.COM 13 The evaluation finds that FRAM is efficienciently managed with a good division of labor between several stakeholders. There are however some overlaps in responsibilities that could be addressed. Innovation Norway should focus even more on the recruitment process. The process could benefit from opening up for a broader audience and recruiting more actively outside of Innovation Norway’s customer base. Improvements could also be made with regards to establishing a more streamlined monitoring and evaluation system. 14 EVALUERING AV FRAM | DAMVAD.COM 1 Innledning Evalueringen av FRAM 2007 – 2013 er gjennomført på oppdrag fra Innovasjon Norge. I henhold til konkurransegrunnlaget og vår fortolkning av dette, er evalueringens problemstilling tredelt: Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag? Når programmet ønskede resultater og effekter i form av å styrke deltakernes konkurransekraft, lønnsomhet og innovasjonsevne? Er programmet hensiktsmessig organisert for å nå sine mål og er det kostnadseffektivt? Rapporten har følgende oppbygging: Første del presenterer programmets målsetninger og organisering – slik at leseren skal ha en god forståelse av hva slags virkemiddel FRAM-programmet er. Deretter beskriver vi vår evalueringsmodell og de metoder som er benyttet for å gjennomføre evalueringen. Selve evalueringen er bygget rundt de tre problemstillingene over. Disse er de viktigste spørsmålene i diskusjonen av henholdsvis relevans, måloppnåelse og effektivitet. I det avsluttende kapittel 7 oppsummeres hovedfunnene i evalueringen, og vi gir anbefalinger på bakgrunn av evalueringen. EVALUERING AV FRAM | DAMVAD.COM 15 2 Beskrivelse av FRAM-programmet I dette kapittelet gir vi en beskrivelse av FRAM-pro- FRAM Strategisk ledelse: Praktisk og teo- grammet, hvordan det inngår i virkemiddelapparatet retisk innføring i Strategisk ledelse, positiv og hvem det retter seg mot. En grunnleggende for- endringsledelse, styrearbeid, innføring i in- ståelse av programmet og bedriftene som deltar er novasjon, internasjonalisering, markeds- hensiktsmessig for forståelsen av selve evalue- orientering og CSR. ringen, som presenteres i kapitlene 4, 5 og 6. FRAM Marked: Økt markedskompetanse som grunnlag for vellykket internasjonalisering, med bygging av nettverk mot andre 2.1 FRAM er ett av Innovasjon Norges virke- bedrifter og Innovasjon Norges utekontor. midler tilknyttet mål om vekstkraftige be- Omfatter også praktisk og teoretisk innfø- drifter ring i temaer som innovasjon, positiv forandringsledelse og god problemhåndtering FRAM-programmet skal bidra til økt lønnsomhet i deltakende bedrifter gjennom økt kompetanse om og kulturforståelse. FRAM Innovasjon: Støtte i egne innova- forretningsutvikling. Programmet er ett av Innova- sjonsprosesser, herunder økt forståelse av sjon Norges virkemidler for å bidra til vekst i bedrif- kundebehov som driver for innovasjon, ter, jf. arbeidsmål «flere vekstkraftige bedrifter» vist samt bistand til gode innovasjonsprosesser i Figur 2.1. mot marked. Skiller seg fra de to øvrige i det I dag er det tre hovedvarianter av FRAM-program- at det jobbes med å utvikle et innovasjons- met, med noe overlapp i kompetanseområder: prosjekt i bedriften, ikke å utvikle bedriften som helhet. FIGUR 2.1 Innovasjon Norges målstruktur Formål: Innovasjon Norges formål er å være statens og fylkeskommunens virkemiddel for å realisere verdiskapende næringsutvikling i hele landet Hovedmål: Innovasjon Norge skal utløse bedrifts- og samfunnsøkonomisk lønnsom næringsutvikling, og utløse ulike regioners næringsmessige muligheter Delmål: Flere gode gründere Kilde: Innovasjon Norge 16 EVALUERING AV FRAM | DAMVAD.COM Delmål: Flere vekstkraftige bedrifter Delmål: Flere innovative næringsmijøer Det vektlegges av Innovasjon Norge at kompetan- Ved opprettelsen av Innovasjon Norge ble det gjort setjenesten skal tilpasses bedriftene som deltar. en endring i organiseringen i FRAM som medførte Derfor vil det kunne være elementer fra alle tre ho- at distriktskontorene skulle få en større rolle i admi- vedretninger i alle FRAM-prosjekter. nistrasjon av programmet. Som en følge av dette har de ulike distriktskontorene gjennomført ulike bransjespesifikke FRAM-program, basert på sat- 2.2 FRAM-programmet har utviklet seg over tid singsområdene i de ulike fylkene. Evalueringen av FRAM fra 20073 påpekte at det var ønskelig fra styringsgruppa og deltakerbedriftenes FRAM-programmet har utviklet seg underveis fra side med økt vektlegging av innovasjon og interna- oppstart til sitt nåværende format. sjonalisering. Dette håndterte Innovasjon Norge ved Bakgrunnen for FRAM var det tidligere BUNT-pro- å utvikle fagmoduler innen disse temaene, som grammet (Bedriftsutvikling med ny teknologi) som inngikk i FRAM Strategisk ledelse. Senere har ble administrert av tidligere Norges Teknisk-Natur- FRAM Innovasjon og FRAM Marked blitt utviklet yt- vitenskapelige Forskningsråd. De positive erfaring- terligere. FRAM Marked ble etablert i 2012, mens ene fra programmet dannet grunnlaget for å sette i FRAM Innovasjon har kjørt sine første prosjekter i gang et forsøk med små- og mellomstore bedrifter. 2013. Programmet skulle styrke strategisk retningsvalg og FRAM-Marked er for øvrig også en videreutvikling ledelse av småbedrifter, ved hjelp av rådgivningsas- av det tidligere NAVIGATOR som var et kompetan- sistanse fra dyktige og erfarne sertifiserte bedrifts- seprogram rettet mot internasjonalisering. Dette in- rådgivere. nebærer at selv om FRAM-Marked ble lansert som Da Statens nærings- og distriktsutviklingsfond ble program først i 2012, så har Innovasjon Norge job- etablert i 1993, ble Små-bedrifts-BUNT programmet bet med kompetansehevingstiltak knyttet til interna- ganske raskt gjort permanent som produkt/tjeneste sjonalisering over lengre tid. og omdøpt til FRAM – som står for: Programmet som i dag kalles for FRAM Strategisk Forstått ledelse er den innretningen av FRAM som har ek- Realistisk sistert over lengst tid – dog med noe ulike tilpas- Akseptert ninger og ulike typer bedrifter. Bedriftene går igjen- Målbart nom en utviklingsprosess for å bli mer profesjonelle, mer markedsorienterte og mer innovative. De deltar Navnet underbygger programmets sterke forank- på fellessamlinger der de får et felles kunnskapsløft, ring i og målretting mot deltakernes konkrete utford- de får rådgivningstimer og møter andre bedrifter ringer og speiler gode prinsipper for resultatstyring. som de kan diskutere problemstillinger med på FRAM har fortsatt som program – dog med litt ulike samlingene. Som en del av utviklingsprosessen varianter og navn fram til i dag. 3 Bolkesjø m.fl.(2005): Evaluering av FRAM og iVEL 1997-2005. Telemarksforskning-Bø. Arbeidsrapport nr. 1-2007. EVALUERING AV FRAM | DAMVAD.COM 17 skal de konkretisere et utviklingsprosjekt for bedrif- 12 bedrifter. Bedriftene gjennomgår en grundig si- ten, som de jobber med i hele FRAM-perioden. tuasjonsanalyse før de får tilbud om å være med i Forskjellen på FRAM Marked og FRAM Strategisk programmet. ledelse, er at det første er rettet mot bedrifter som Det framkommer videre av programbeskrivelsen at har et konkret, internasjonalt marked de ønsker å FRAM-programmet i hovedsak består av tre hoved– etablere seg i. Således dreier programmet seg i stor komponenter: grad om å få kunnskap om dette konkrete markedet, og hva som skal til for å slå igjennom i markedet. landet (4-6 samlinger à 2 dager) Intervjuer med FRAM-apparatet tyder på at det kan variere fra prosjekt til prosjekt i hvilken grad bedriften er moden for å gå inn i et nytt marked, og det varierer også derfor hva bedriften har kunnskap om. Et resultat av FRAM-deltakelse kan vel så gjerne være at bedriften bestemmer seg for ikke å satse på å gå inn i markedet, og slik sett unngår store tap. Bedriftssamlinger – herunder studietur i ut- Individuell rådgivning (40-120 timer) Nettverk med andre bedrifter Bedriftene betaler en egenandel som fastsettes av Innovasjon Norges distriktskontor. I tillegg er det bedriften som betaler utgifter til reise og opphold på fellessamlingene. FRAM Innovasjon skiller seg fra FRAM Strategisk ledelse i den forstand at det har et sterkere fokus på innovasjonsprosesser og hvordan bedriften kan tilrettelegge for innovasjon. FRAM Innovasjon bidrar 2.4 FRAM gir bedrifter kompetanse på bedriftsutvikling i ulike former med kompetanse på planlegging og gjennomføring et innovasjonsprosjekt. Selve innovasjonsprosjektet FRAM består av tre hovedkomponenter; samlinger, gjennomføres således etter at bedriftene har vært rådgivning og nettverk. På samlingene gjennomgås igjennom FRAM. Innovasjonsprosjektet kan være et fagstoff av ulik art (og på ulike måter), som anses nytt produkt, å nå nye markeder, selge på nye måter relevant for bedriftsutvikling. Rådgivningen er di- eller organisere bedriften på en ny og innovativ rekte knyttet opp mot bedriftens utviklingsprosjekt måte. og bedriftens behov. Nettverket er en bieffekt av at bedrifter møtes på samlinger. 2.3 Målgruppen er små og mellomstore be- I vedlegg 1 framgår det hvilke temaer Innovasjon drifter med vilje og evne til vekst Norge anbefaler at gjennomgås i FRAM. Fagstoffet som formidles på samlingene skal imidlertid være Det framkommer av programbeskrivelsen til FRAM tilpasset gruppen av bedrifter i det enkelte FRAM- at hovedmålet til FRAM-programmet er økt verdi- prosjektet og hva de trenger av tilført kompetanse. skaping i små- og mellomstore bedrifter. Dette innebærer at det varierer fra prosjekt til pro- FRAM tilbys små og mellomstore bedrifter i form av samlinger og skreddersydd rådgivning. Programmet går typisk over 10 til 24 måneder, og inneholder 4 til 6 fellessamlinger for grupper bestående av 8 – sjekt hvilke fagmoduler som gjennomgås. Denne variasjonen og fleksibiliteten har blitt større over tid. I begynnelsen var det et veldig konkret rammeverk, der Innovasjon Norge blant annet hadde utviklet en veileder for prosjektleder om hvordan gjennomføre et FRAM Strategisk ledelse-prosjekt, samt «teknikknotater» knyttet til hver fagmodul. Teknikknotatet 18 EVALUERING AV FRAM | DAMVAD.COM beskriver tematikken og foreslår anbefalt litteratur Figur 2.2 illustrerer organiseringen av FRAM og de som kan bygge oppunder modulen. ulike aktørene som inngår i programmet. Det varierer fra fylke til fylke hvordan fordelingen av oppga- Teknikknotater er utviklet for de fleste av temaene vene faktisk er, men figuren viser en relativt vanlig på listen, men ikke alle. Oversikten gir en indikasjon ansvarsdeling. på hva som ble betraktet som obligatorisk i 2007. Obligatoriske temaer i dag er design, markedsorientering, Innovasjon og internasjonalisering samt CSR. Innovasjon Norges hovedkontor Innovasjon Norges hovedkontor er tjenesteansvarlig, og har ansvar for å rekruttere prosjektledere og rådgivere som de ulike fylkene kan benytte seg av. Fagmodulene som i dag anbefales tilbys på bak- Innovasjon Norge har også over tid utviklet mye fag- grunn av lang historikk i FRAM om hva bedrifter har lig materiale som prosjektledere kan benytte i gjen- interesse av, kombinert med en situasjonsanalyse nomføring av samlinger, i tillegg til at de utvikler ma- som tydeliggjør bedriftenes behov. Modulene som ler for rapportering og evalueringer. Innovasjon kreves fra Innovasjon Norge er utviklet på bakgrunn Norge har således en kvalitetssikringsrolle når det av kunnskapsinnhenting om utfordringer bedrifter i gjelder hva slags tematikk som gjennomgås på Norge står overfor. Det er et bredt omfang av kunn- FRAM, selv om det over tid har blitt større fleksibili- skap som samles inn årlig, som er med og påvirker tet for prosjektleder. utviklingen i alle virkemidlene Innovasjon Norge for- På bakgrunn av at Innovasjon Norge årlig samler valter, herunder FRAM. De siste årene har det vært inn mye ulikt materiale knyttet til næringsutviklingen lagt særlig vekt på norske bedrifters manglende i Norge, sitter de på en del kompetanse om hva be- markedsorientering. drifter har behov for. Denne kompetansen benyttes i utviklingen av alle program og tjenester, herunder FRAM. 2.5 FRAM-programmet administreres av Innovasjon Norge i samarbeid med private Innovasjon Norges distriktskontor konsulenter Distriktskontorene beslutter hvilke FRAM-program som skal gjennomføres i de ulike fylkene; hvilken Innovasjon Norge har tilknyttet seg et korps av prosjektledere og rådgivere som benyttes i selve gjennomføringen av FRAM-samlinger og til rådgivningstimer. Disse konsulentene jobber gjerne i det private markedet med bedriftsutviklingstiltak av ulik sort, og har spisskompetanse på bedriftsrådgivning. type FRAM program og om det skal være rettet mot en enkelt næring, eller generiske FRAM-prosjekter. Det er også distriktskontorene som prioriterer midler til gjennomføring av programmet. Det varierer således fra fylke til fylke i hvilken grad FRAM-programmet er prioritert, og antallet FRAM-prosjekter som gjennomføres i løpet av et år. Konsulentene rekrutteres gjennom en anbudsprosess som hovedkontoret til Innovasjon Norge administrerer. De er sertifisert for to år om gangen, med mulig å forlenge med to år. I praksis er de sertifisert for fire år om gangen. Distriktskontoret har i tillegg ofte en rolle i rekruttering av bedrifter. Utgangspunktet er som regel bedrifter som har vært i kontakt med Innovasjon Norge på en eller annen måte tidligere. I hvilken grad Distriktskontoret er involvert i rekrutteringen av bedrifter, varierer for øvrig fra fylke til fylke. Noen EVALUERING AV FRAM | DAMVAD.COM 19 distriktskontorer er sterkere involvert i rekrutterings- Prosjektlederne er videre ansvarlige for å lage opp- prosessen enn andre. legg for fellessamlingene, med utgangspunkt i budsjettet Innovasjon Norge har avsatt. Hvorvidt pro- Prosjektledere sjektleder selv gjennomfører foredrag, eller om Prosjektlederne har ansvar for gjennomføringen av andre ressurspersoner trekkes inn på samlingene, FRAM-programmet. Ofte er det en grundig dialog avhenger fra gang til gang og hva slags fagstoff som mellom prosjektleder og Innovasjon Norge for å skal gjennomgås. Prosjektleder har som regel kom- identifisere bedriftene i fylket som kan være aktuelle petanse på noe av det faglige innholdet, men ikke å invitere til å delta i det FRAM-prosjektet som Inno- alt. Også ressurspersoner fra Innovasjon Norge vasjon Norge har besluttet å gjennomføre. Samtidig brukes som innledere på samlingene, dersom kom- er dette ofte prosesser som foregår parallelt: Inno- petansen er relevant. vasjon Norges beslutning om å sette i gang FRAM avhenger også av om man tror det er en stor nok gruppe av bedrifter i fylket som kan ha behov for et slikt tilbud. Prosjektleder er også ansvarlig for å finne rådgiver til deltakerbedriftene, med utgangspunkt i den sertifiserte gruppen av rådgivere i fylket. I noen tilfeller brukes rådgivere som er sertifisert i andre fylker, dersom det er særskilte forhold som tilsier at det er FIGUR 2.2 Roller og ansvar i organisering og drift av FRAM-programmet Kilde: DAMVAD 20 EVALUERING AV FRAM | DAMVAD.COM hensiktsmessig. Prosjektleder kan også selv være FRAM Strategisk ledelse. Både Kultur, Entreprenør- rådgiver. skap, Agro og Liten kan ses på som varianter av Prosjektleder får tilbakemeldinger og vurderinger fra bedriftene etter hver samling. Disse benyttes for å tilpasse opplegget på de framtidige samlingene slik at opplegget blir best mulig tilpasset deltakermassen og deres behov. Rådgivere Rådgiverne har i flere fylker et ansvar i rekrutteringsprosessen av bedrifter. Etter at Innovasjon Norge og prosjektleder har kommet fram til en liste med potensielle bedrifter, er det som regel rådgiverne som ringer rundt og inviterer bedriftene til å delta. Rådgiverne gjennomfører også som regel situasjonsanalysen for å undersøke om bedriftene FRAM Strategisk ledelse, men der man har laget noen ytterligere kriterier for deltakelse. TABELL 2.3 Programtype Programtype Strategisk ledelse Kultur Entreprenørskap, tidligfase Agro Marked/NAVIGATOR Liten (2-8 virksomheter) Innovasjon Total Antall 542 250 172 149 92 84 16 1305 Prosent 41,5 % 19,2 % 13,2 % 11,4 % 7,0 % 6,4 % 1,2 % 100,0 % faktisk er hensiktsmessige å ha med i programmet. For å delta må bedriftene ha noen typer utfordringer som FRAM kan bidra med å løse. De må også være Bruk av FRAM innenfor/utenfor det motivert til å sette av tid til å delta. I og med at distriktspolitiske virkeområdet FRAM-programmet er en prosess som kan strekke Det er flere bedrifter innenfor det distriktspolitiske seg over to år, må rådgiver forsikre seg om at dette virkeområdet som får støtte gjennom FRAM enn be- er noe bedriften ønsker å forplikte seg til. drifter som er geografisk lokalisert utenfor virkeom- I selve gjennomføringen av FRAM er det rådgiverens rolle å støtte bedriften gjennom prosessen, og følger dem opp med jevnlige møter i periodene mellom samlingene. 2.6 Kjennetegn ved deltakerne i FRAM 20072013 De påfølgende tabellene gir en rask oversikt over kjennetegn ved deltakerne i FRAM i perioden mel- rådet. TABELL 2.4 Deltakere fordelt innenfor og utenfor det distriktspolitiske virkeområdet Innenfor Utenfor (ikke identifisert gjennom kommunenummer) Totalt Antall 490 299 Prosent 62 % 38 % 457 789 lom 2007-2013. Type FRAM program FRAM finansieres både av Kommunal- og regional- Tabell 2.3 illustrer de ulike kategoriene av FRAM departementet, og av Nærings- og handelsdeparte- som har vært gjennomført siden 2007. Som det mentet. Midler fra Kommunal- og regionaldeparte- framkommer har det vært mange ulike varianter av mentet skal være en ekstrainnsats for distriktsområ- FRAM, men det har klart vært gjennomført flest av der, mens midler fra Nærings- og handelsdepartementet skal brukes i hele landet. Siden det er en del EVALUERING AV FRAM | DAMVAD.COM 21 «ekstramidler» til distriktsområder, gjennomføres er bedrifter innen reiseliv. Det ser ut til at FRAM i det også litt flere FRAM prosjekter for bedrifter som stor grad er et virkemiddel som reiselivsbedrifter be- er lokalisert i det distriktspolitiske virkeområdet. Be- nytter seg av. driftene som ikke er identifisert gjennom kommunenummer er ikke regnskapspliktige, og består anta- FRAM-bedriftenes bruk av andre offentlige virkemidler kelig primært av enkeltpersonsforetak. Bedriftene som deltar i FRAM gjør seg også nytte Bruk av FRAM i de ulike fylkene av andre virkemidler i virkemiddelapparatet. Ved Særlig Nordland (i sin helhet innenfor det distrikts- hjelp av samspillsdatabasen har sett nærmere på politiske virkeområdet) har gjennomført mange hvilke virkemidler bedriftene har benyttet seg av FRAM-prosjekter i perioden vi har sett på. Tabellen både før, under og etter deltakelse i FRAM. viser for øvrig at FRAM gjennomføres over hele landet. Før deltakelse i FRAM gjør bedriftene seg særlig nytte av finansieringstjenestene til Innovasjon TABELL 2.5 Deltakere fordelt på fylker Fylke Akershus Aust-Agder Buskerud Finnmark Hedmark Hordaland Møre- og Romsdal Nord-Trøndelag Nordland Oppland Oslo Rogaland Sogn og Fjordane Sør-Trøndelag Telemark Troms Vest-Agder Vestfold Østfold Totalt Norge, herunder tilskudd, lån og stipend, samt ga- Antall 19 18 22 46 46 57 69 48 124 50 47 36 34 48 24 29 16 26 39 798 Prosent 2% 2% 3% 6% 6% 7% 9% 6% 16 % 6% 6% 5% 4% 6% 3% 4% 2% 3% 5% 100 % FRAM-bedriftene kommer i all hovedsak fra de næringene som får støtte fra det øvrige virkemiddelapparatet i Innovasjon Norge, jf. figur 2.6. Unntaket 22 EVALUERING AV FRAM | DAMVAD.COM rantiordninger. Også svært mange har fått bygdeutviklingsmidler. En annen stor andel har fått støtte gjennom IFU/OFU ordningen. I annet-kategorien inngår ulike programmer som eksempelvis marint verdiskapingsprogram og bioenergiprogrammet. Figur 2.7 illustrerer dette. Etter deltakelse i FRAM er det stort sett de samme tjenestene og programmene bedriftene benytter. Prosentandelen er nesten de samme, bortsett fra at andelen bedrifter som benytter seg av bedriftsnettverkstjenesten har gått noe opp. Samtidig er dette kun snakk om fem prosjekter. Mange av bedriftene som har deltatt i FRAM har også fått støtte gjennom programmer i Norges forskningsråd. I vedlegg 2 er det lagt ved tabeller som viser mer detaljert hvilke programmer i Innovasjon Norge bedriftene har fått støtte gjennom, og detaljert hvilke programmer i Norges Forskningsrådet bedriftene har fått støtte igjennom. FIGUR 2.6 Deltakere fordelt på næringer 28% 29% Industri Faglig, vitenskapelig og teknisk tjenes 14% 17% 11% 12% Varehandel og transport 11% 11% Informasjon og kommunikasjon Overnattings- og serveringsvirksomhet 5% 4% Bygge- og anleggsvirksomhet 11% 6% 5% 5% Forretningsmessig tjenesteyting Jordbruk, skogbruk, jakt og fiske 4% Annet 6% 13% 8% 0% 5% 10% IN 15% 20% 25% 30% 35% FRAM Note: Vi har hold Bygdeutviklingsmidlene til Innovasjon Norge utenfor, siden broken av disse har annen begrunnelse enn øvrige virkemidler. Vi har også holdt nettverksprogrammene ARENA og NCE utenfor, siden midlene her ikke går direkte til bedrifter, men til en fasilitator (som da er kategorisert som forretningsmessig tjenesteyting i NACE. FIGUR 2.7 Fordeling av hvilke andre virkemidler deltakerne i FRAM har fått støtte igjennom (i Innovasjon Norge) 13 % 0% 6% 2% 16 % 63 % Finansieringstjenester og garantier u/ Bygdeutviklingsmidlene Bygdeutviklingsmidlene Rådgivningstjenester IFO/ OFU Bedriftsnettverk Annet Kilde: Samspillsdatabasen (Innovasjon Norge) Note: Enheten er prosjekter EVALUERING AV FRAM | DAMVAD.COM 23 FRAM-deltakernes økonomiske utvikling skiller seg ikke fra gjennomsnittet i samme næring Ved hjelp av regnskapsstatistikk har vi undersøkt kjennetegn ved FRAM-bedrifter sammenliknet med næringen for øvrig. Vi har kun sett på veksten i perioden mellom 2007 til 2012. Bedriftene som omtales som deltakere har deltatt i FRAM-programmet en eller annen gang i evalueringsperioden, så man kan ikke lese av figuren når deltakerne har deltatt. Hovedbildet er at veksten i verdiskaping på deltakerbedrifter i liten grad skiller seg fra bedrifter som ikke har deltatt i FRAM. Dette er gjennomgående uavhengig av næringsområde. Dette betyr at bedrif- FIGUR 2.9 Verdiskaping I “IKT og annen tjenesteyting”. Faste 2012-priser. Indeks (2007=100). 180 180 160 160 140 140 120 120 100 100 80 80 Deltakere 60 2007 2008 2009 Ikke-deltakere 2010 2011 60 2012 tene som får muligheten til å delta i FRAM er relativt gjennomsnittlige bedrifter, når det gjelder vekst i verdiskaping. 150 150 120 140 140 130 130 120 120 110 110 100 100 90 90 80 80 120 115 115 110 110 105 105 100 100 95 95 Deltakere 90 2007 24 FIGUR 2.10 Verdiskaping i industri. Faste 2012-priser. Indeks (2007=100). FIGUR 2.8 Verdiskaping i handel. Faste 2012-priser. Indeks 2007 = 100. 2008 2009 EVALUERING AV FRAM | DAMVAD.COM Ikke-deltakere 2010 2011 90 2012 70 60 2007 Deltakere 2008 2009 Ikke-deltakere 2010 2011 70 60 2012 FRAM-deltakerne innenfor det distriktspolitiske virkeområdet er gjennomgående noe svakere enn deltakerne utenfor Utviklingen i verdiskaping viser få eller ingen avvik dersom vi skiller mellom innenfor og utenfor det distriktspolitiske virkeområdet dersom alle deltakere i FRAM-programmet sees under ett, jf. Figur 2.11 FIGUR 2.11 Verdiskaping for alle deltakere i FRAM-programmet. Faste 2012-priser. Indeks (2007=100) 120 120 110 110 100 100 90 90 80 80 70 60 2007 Utenfor 2008 2009 Innenfor 2010 2011 70 60 2012 Kilde: DAMVAD med utgangspunkt i Enhetsregisteret Note: Antall observasjoner varierer fra år til år. Gjennomsnittlig antall virksomheter utenfor og innenfor er hhv. 152 og 301. Dette resultatet gjelder også om vi skiller på konkrete næringer. EVALUERING AV FRAM | DAMVAD.COM 25 3 Evalueringsmodell og metode I dette kapittelet gjennomgår vi evalueringsmodel- Evalueringens problemstilling “Er FRAM-program- len vi har lagt til grunn og de ulike metodene som met har blitt benyttet i evalueringen. Vi legger stor vekt markedssvikt og gjeldende erfaringsgrunnlag?” på bruk av flere metoder for å sikre robusthet i undersøkelsen. 3.1 begrunnet i faktiske behov, reell Under overskriften målrealisering drøftes konkret måloppnåelse, resultater og effekter av programmet, jf. evalueringens problemstilling “Når programmet ønskede resultater og effekter i form av å styrke Relevans, målrealisering og effektivitet deltakernes konkurransekraft, lønnsomhet og inno- Evalueringen er lagt opp etter metodeverket inspi- vasjonsevne?” rert av OECDs evalueringsmodell, som grupperer Selv om offentlig innsats gir resultater i tråd med evalueringsspørsmålene under overskriftene rele- målene, kan det tenkes at resultatene kunne blitt vans, målrealisering og effektivitet, jf. Figur 3.1. enda bedre, ved hjelp av annen organisering eller innretning, jf. evalueringens problemstilling «Er pro- Spørsmålet om relevans dreier seg om evalueringsobjektet er godt forankret i kunnskap om sammenheng mellom behov FIGUR 3.1 Evalueringsmodell Kilde: DAMVAD 26 godt EVALUERING AV FRAM | DAMVAD.COM og virkemidler, jf. grammet hensiktsmessig organisert for å nå sine mål og er det kostnadseffektivt?». Dette drøftes un- De tre første kravene på Heums liste inngår i vurde- der overskriften effektivitet. ringen av relevans. Kravet om tydelige mål innleder På bakgrunnen av diskusjonen under disse tre overskriftene, kommer med vi med forslag til anbefalinger (kapittel 7.) Evalueringskriteriene sammenfatter også i stor grad kriterier for gode virkemidler slik de er formuler av vurderingen av måloppnåelse, som i tillegg drøfter faktiske resultater og effekter. De fire siste kravene drøftes under effektivitet. 3.2 Virkninger av kompetansetiltak Heum4. Heum har utarbeidet 8 krav som et næringspolitisk virkemiddel ideelt sett må innfri for å bli ka- I tillegg til evalueringsmodellen presentert i forrige rakterisert som godt. Kravene har stor oppslutning avsnitt, har vi lagt til grunn en egen modell for å vur- og samsvarer også godt med en rekke regjerings- dere virkninger av kompetansetiltak. Dette er i prin- framlegg om næringspolitikk. Kravene er: sippet en metodikk for å vurdere måloppnåelse på en systematisk måte. 1. Det må foreligge markedssvikt som hemmer verdiskaping og vekst i samfunnsmessig for- Modellen er utviklet av Donald Kirkpatrick5 og illus- stand. trerer de ulike dimensjonene som er sentrale for å 2. Markedssviktens konsekvenser må være store måle virkninger av et kompetansetiltak (måloppnå- nok til at det er bryet verdt å vurdere alternative else). Det er en pyramide, fordi man tenker seg at virkemidler som kan korrigere effekten av mar- dersom nivået under ikke er tilfredsstilt vil man hel- kedssvikten. 3. Virkemiddelet som implementeres må være eg- ler ikke kunne nå nivået etter – på samme måte som i en effektkjede. Figur 3.2 illustrerer modellen. net til å korrigere markedssvikten på en ønsket Respons måler deltakernes umiddelbare tilfredshet måte med kompetansehevingstiltakene. Det er relevant å 4. Av dette følger at det skal være et klart definert mål på hva virkemiddelet skal bidra til. 5. Det må ikke være alternative virkemidler som er bedre i stand til å oppfylle virkemiddelets mål. 6. Seleksjonskriteriene for når virkemiddelet vil komme til anvendelse skal være tydelige og forutsigbare. 7. Det skal være enkelt å administrere virkemiddelet, slik at kostnadene med å ta det i bruk er små i forhold til gevinstene som oppnås. 8. Aktørene som søker å komme inn under virkemiddelet, må kunne forvente en klar og real av- både se på tilfredshet med samlinger, rådgivningen og nettverket – siden dette er de tre ulike måtene deltakerne tilegner seg kunnskapen på. Dette nivået besvarer i noen grad også kompetansetiltakets relevans. Læring er deltakernes læring fra tiltaket, og deres vurdering av kunnskapen de har fått. Har deltakerne faktisk tilegnet seg ny kunnskap? De tre overordnede kunnskapsområdene som er relevante å måle i FRAM er (i) profesjonalisering, (ii) markedsorientering og (iii) innovasjon. gjørelse innen rimelig tid. 4 Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler? SNF. Arbeidsnotat 03/12. 5 Kirkpatrick, D.l. (2006) Evaluating Training Programs (3rd ed). San Fransisco. CA: Berrett-Koehler publishers EVALUERING AV FRAM | DAMVAD.COM 27 Adferd dreier seg om hvorvidt ny kunnskap har bi- på trekanten. En spiss trekant betyr sterk sammen- dratt til endret adferd hos deltakerne. heng fra positiv respons via læring, adferd og til re- Resultater dreier seg om hvorvidt slik ending i adferd har bidratt til konkrete resultater og effekter. Resultater kan forstås som de mer kortsiktige og sultat. I en svært flat trekant er det positiv respons men langt mindre læring, atferdsendringer eller resultater. umiddelbare virkningene av et tiltak, mens effekter er mer langsiktige. Et resultat kan for eksempel være nye bedre dialog med styret, nye kontrakter eller nye produkter/ tjenester lansert i markedet. Effekter kan være økt verdiskaping og lønnsomhet eller et bedre renomme i markedet. På begge nivåer vil det kunne være snakk om ulike typer resultater, både økonomiske og ikke-økonomiske resultater og effekter. Metodetriangulering Alle metoder har sine styrker og svakheter og kan dermed utfylle hverandre. Med metodetriangulering drøftes en problemstilling på bakgrunn av funn fra flere metoder, For eksempel er spørreundersøkelser og kvantitative analyser godt egnet til å gi et representativt bilde og et helhetsinntrykk. Kvantitative I et kompetansebyggingstiltak er det muligens enk- analyser kan også vise statistiske sammenhenger lere å vurdere måloppnåelse etter deltakernes re- mellom to ulike variabler. Dybdeintervjuer på den spons og kanskje etter mål på faktisk læring. Men annen side, er bedre egnet til å forstå komplekse målet på kompetansetiltaket er også knyttet til at sammenhenger og kausalitet. I evalueringer av of- kunnskapen skal anvendes og gi konkrete resulta- fentlige virkemidler vil man gjerne vite både hvilke ter. Slik sett kan måloppnåelse defineres av formen resultater som er oppnådd i hele målgruppen, og om observerte resultater og effekter følger av det FIGUR 3.2 Virkninger av kompetansetiltak Resultater Adferd Læring Respons Kilde: Kirkpatrick (2006) 28 3.3 EVALUERING AV FRAM | DAMVAD.COM konkrete virkemiddelet eller påvirkes av andre for- inkludert de som aktivt svarte at de ikke ønsket å hold. delta. Dette gir en svarrate på 42 pst. etter at vi kon- Evalueringens robusthet er større dersom flere datakilder peker i samme retning, enn dersom metodene gir svar i ulike retninger. Hovedbildet i meto- trollerer for eposter som ikke lenger er i bruk (vi fikk tilbakemelding fra Enalyzer Survey Solution at 280 epostadresser ikke eksisterte). debruk er at kvantitative metoder som spørreunder- Svarprosenten i seg selv gir ikke et fullstendig bilde søkelser og regnskapsdata eller statistikk er godt av hvor representativt utvalget er for populasjonen. egnet til å dokumentere faktiske resultater, mens Dersom vi antar at respondentene hadde blitt truk- kvalitative intervjuer er viktige for å forstå sammen- ket helt tilfeldig fra populasjonen på 1289 deltakere, henger og kausalitet. ville vi oppnådd et representativt utvalg dersom 296 respondenter hadde gjennomført undersøkelsen Dokumentstudier Evalueringen anvender tilgjengelige analyser, evalueringer, prosjektbeskrivelser og annen informasjon om bedriftene som har deltatt i programmet. Vi bruker også eksisterende data hos Innovasjon Norge som SOPP og kundeeffektundersøkelsen. Vi (forutsatt en feilmargin på 5 pst. og et konfidensintervall på 95 pst.). Våre 343 gjennomførte undersøkelser vil derfor kunne sies å tilfredsstille forutsetningene om et representativt utvalg for populasjonen av unike deltakere i perioden mellom 2007 og 2013 med god margin. gjør også bruk av økonomisk teori, særlig under drøfting av relevans. Dokumentstudiene er særlig viktig for en grunnleggende forståelse av FRAMprogrammets innretning, bakgrunn og hvordan det fungerer i dag. TABELL 3.3 Spørreundersøkelsen Antall Gjennomført Spørreundersøkelse rettet mot deltaker- Ønsker ikke delta bedrifter Ikke svart 343 65 845 Bedriftene som har deltatt i FRAM i perioden 2007- Respondenter 1253 2013 har fått tilsendt en spørreundersøkelse som Døde eposter 280 går i dybden på hvordan bedriftene har opplevd Svar 408 FRAM, både fellessamlinger og støtte fra rådgiver Nødvendig antall svar for represen- 296 (respons), hvilken kunnskap og hvilke verktøy de tativt utvalg har fått ut av programmet (læring), hva de har gjort Svarprosent 42% som en følge av deltakelsen (adferd) og hva eventuelle endringer har ført til (resultater og effekter). Svarraten vurderes som tilstrekkelig til å gi robuste Spørreundersøkelsen er sendt ut til 1253 tidligere og representative resultater. deltakere i FRAM-programmet i perioden mellom 2007 og 2013. Populasjonen tar utgangspunkt i Innovasjon Norges deltakerliste for den aktuelle perioden, som totalt inneholder 1317 deltakere. Av disse hadde 28 deltatt mer enn én gang og 36 manglet kontaktinformasjon (epostadresse). Spørreundersøkelsen ble besvart av 408 respondenter Dybdeintervjuer med FRAM-apparatet og bedrifter. Dybdeintervjuer er godt egnet til å forstå komplekse sammenhenger og årsaksforhold. Intervjuer med FRAM-apparatet er benyttet for å få grunnleggende forståelse for programmets innretning og hvordan EVALUERING AV FRAM | DAMVAD.COM 29 programmet gjennomføres. I denne sammen- del i det virkemiddelet man ønsker å måle effektene hengen er det gjennomført intervjuer med et tilfeldig av. utvalg distriktskontor, et tilfeldig utvalg prosjektledere og et tilfeldig utvalg rådgivere. Respondentene fikk spørsmål både knyttet til vurdering av relevans, måloppnåelse og organisering. Vi har også gjennomført intervjuer med et tilfeldig utvalg bedrifter som har deltatt i FRAM, for å lettere tolke svar i spørreundersøkelsen. Bedriftene ble spurt om konkrete atferdsendringer og resultater oppnådd på bakgrunn av FRAM. mulig lik gruppe bedrifter anvender vi metoden propensity score matching (PSM). PSM trekker ut en kontrollgruppe med et tilfeldig utvalg bedrifter som besitter et definert antall liknende karakteristika som analysegruppen. På den måten finner vi de mest mulig sammenliknbare bedriftene av alle bedrifter som ikke har deltatt i programmet. Metoden er utfylt beskrevet i vedlegg 2. Samspillsdatabasen (DAMVAD) TABELL 3.4 Oversikt over intervjurespondenter Type respondent For å sammenlikne bedriftene i FRAM med en mest DAMVAD har over tid utviklet en database som inAntall neholder informasjon om bedrifters deltakelse i ulike Innovasjon Norge distriktskontor 5 typer offentlige virkemidler. Per i dag har vi samlet FRAM prosjektledere 5 informasjon om virkemidler i regi av Innovasjon FRAM rådgivere 6 Norge og virkemidler i regi av Norges Forsknings- Bedrifter 5 råd, og bevilget tilslag på SkatteFUNN6. Denne databasen er interessant for å belyse enkelte kjenne- Prosjektledere er som regel rådgivere i tillegg, så i tegn ved bedriftene som deltar i FRAM; hvorvidt de intervjuer med disse har vi også stilt spørsmål knyt- benytter seg av andre virkemidler før, under og etter tet til rådgiverrollen. I realiteten er det derfor foretatt FRAM-deltakelse og hvilke virkemidler dette dreier 11 intervjuer med rådgivere. seg om. I tillegg til disse intervjurespondentene har vi også intervjuet Innovasjon Norges hovedkontor. Regnskapsstatistikk og propensity score matching Regnskapsstatistikk er benyttet for å identifisere hvorvidt det har vært noen endringer på utvalgte økonomiske indikatorer hos bedriftene som har deltatt i FRAM. En utfordring i analyse av slike data er at mange andre forhold kan påvirke økonomisk utvikling i bedriften. Samtidig kan det være vanskelig Referansegruppemøter I evalueringen ble det oppført en referansegruppe bestående av FRAM-konsulenter og representanter fra Innovasjon Norges hovedkontor og distriktskontor, i tillegg til representanter fra Kommunal- og moderniseringsdepartementet og Nærings- og handelsdepartementet. Referansegruppen har vært med i drøftinger underveis i evalueringen og bidratt til å kvalitetssikre forståelsen av programmet og dets innretning. å finne en sammenliknbar gruppe som ikke har tatt 6 Bevilget tilslag er ikke det samme som faktisk refundert skatt. Det er Norges Forskningsråd som innvilger, men det er skattemyndighetene som kontrollerer og faktisk gir skattefradrag. Det vil derfor kunne være bedrifter 30 EVALUERING AV FRAM | DAMVAD.COM som har fått innvilget SkatteFUNN som likevel ikke får fradraget av ulike årsaker. 4 Relevans I dette kapittelet gjennomgår vi våre funn knyttet til Det er disse spørsmålene som drøftes i kapittelet, relevansspørsmålet. Som nevnt innledningsvis er et av våre hovedspørsmål følgende “Er FRAM-pro- på bakgrunn av de ulike datakildene som ble gjen- grammet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag?”. I praksis kan relevansdiskusjonen deles opp i flere nomgått i forrige kapittel. Overordnet synes FRAM å være et relevant virkemiddel, men målgruppen kan være vanskelig å identifisere. underspørsmål: 1. Hva er samfunnsproblemet som ligger til grunn for FRAM? 2. Hva er Innovasjon Norges løsning på problemet? 3. Ville samfunnsproblemet blitt løst uten offentlig inngripen? Hva er markedssvikten? 4. Hvem er målgruppen og når man denne? 5. Hvordan opplever brukerne relevansen? 4.1 FRAM skal bidra til profesjonalisering, innovasjon og markedsorientering Som påpekt innledningsvis er hovedmålet til FRAMprogrammet å bidra til økt verdiskaping i små- og mellomstore bedrifter. Etter vår vurdering tjener det imidlertid liten hensikt å diskutere relevansen til FRAM på bakgrunn av denne svært overordnede målsetningen. Det er svært mange virkemidler som har denne overordnede målsetningen – faktisk er FIGUR 4.1 Hovedspørsmål i diskusjonen om relevans Kilde: DAMVAD EVALUERING AV FRAM | DAMVAD.COM 31 hele Innovasjon Norges virksomhet bygget rundt ganger vil de velge eksterne forelesere, til noen te- dette målet. Vi er interessert i det som skiller FRAM maer benyttes gruppearbeid, til andre temaer er det fra andre virkemidler som skal bidra til økt verdiska- andre undervisningsformer osv. Rådgiverne vil ping. Vi må derfor bevege oss ett hakk ned i målhie- også ha ulike framgangsmåter for hvordan rådgiv- rarkiet og spørre oss hva det er små- og mellom- ningen best skal foregå. Noen er mer prosessorien- store bedrifter i Norge mangler i dag – som FRAM tert mens andre er mer spissede på forretningsut- er et svar på? vikling. En viktig antakelse til grunn for utformingen av Det har ikke vært mulig å gå så detaljert til verks at FRAM er at vekstkraftighet i norske små- og mel- vi har evaluert hver eneste kompetansemodul som lomstore bedrifter avhenger av profesjonalitet, mar- bedriftene kan gjennomgå i løpet av FRAM – til det kedsorientering og innovasjon. Forskning viser at er det for mange av dem, de er gjennomført på ulikt det er bedrifter som investerer i kompetanse og in- vis og dessuten er ikke informasjonen så lett til- novasjon som overlever og vokser .7 Motsatt kan gjengelig om hvilke bedrifter som har lært hva. Ved- man dermed anta at manglende profesjonalisering, legg 1 gir en oversikt over omfanget av områder som kan gjennomgås. manglende markedsorientering og manglende innovasjonsevne utgjør barrierer for vekst. Alle modulene kan imidlertid plasseres under ett av Innovasjon Norges løsning på utfordringen er tre delmål, slik målhierarkiet i Figur 4.2 illustrerer. FRAM: en langsiktig forretningsutviklingsprosess Hovedmålet er økt verdiskaping gjennom at bedrif- med eksterne rådgivere, som skal bidra til økt pro- ten får økt kompetanse. Det er tre delmål, eller kom- fesjonalisering, økt markedsorientering og økt inno- petansemål, som underbygget hovedmålet: vasjonsevne hos de deltakende bedriftene. Profesjonalisering En utfordring med å evaluere FRAM er at hvert pro- Markedsorientering sjekt er skreddersydd til hver enkelt gruppe av delt- Innovasjon akere. Hvilke temaer som gjennomgås på samlingene og gjennom rådgivningen varierer svært Samlinger og rådgivning leder forhåpentligvis til at- mye – ut fra hva som er behovet til bedriftene som ferdsendringer som gjør bedriften mer profesjonell, deltar i det enkelte prosjektet. Noen bedrifter har be- mer markedsorientert og mer innovativ. hov for kunnskap om fordeling av arbeidsoppgaver og andre ledelsesutfordringer, mens andre bedrifter har behov for kunnskap om hvordan gjennomføre en konkurrentanalyse. av FRAM-programmet som eksisterer i dag. Det må imidlertid understrekes at de tre kompetansemålene inngår i alle tre FRAM-varianter, men vektlegges på I tillegg vil det variere fra FRAM-prosjekt til FRAM- ulik måte. Virkemidlene i programmene (fellessam- prosjekt hvordan bedriftene får tilført kompetansen. linger, rådgivning, kunnskapsdeling mellom bedrif- Prosjektlederne har stor frihet i utvikling av sam- ter) er også de samme uansett type FRAM-pro- lingene. Noen ganger vil de forelese selv, noen gram, selv om vektleggingen også der varierer. 7 Jf. Bolkesjø m.fl.(2005): Evaluering av FRAM og iVEL 1997-2005. Telemarksforskning-Bø. Arbeidsrapport nr. 1-2007. 32 Delmålene samsvarer med de tre ulike variantene EVALUERING AV FRAM | DAMVAD.COM Vi har definert profesjonalisering som evne til å ut- FIGUR 4.3 Markedsorientering vikle funksjoner, rutiner og prosesser for oppgavkompetanse på dette området gjennom ulike temaer, herunder: Ledelse (lederutvikling) Ressurser (rekruttering og utvikling av ansatte) Styring (delegering av oppgaver) Økonomi og økonomistyring (budsjett, salg) Organisering (selskapsform, styrefunksjoner) Forståelse av kunde Forståelse av konkurranse eløsning og samhandling. Deltakerbedriftene får NEI JA NEI Produktorientert Kundeorientert JA Konkurranseorientert Markedsorientert Kilde: Kotler et al 2008 Markedsorientering har vi definert som evne til å omsette kunnskap om marked i effektiv virksomhetsstrategi. I dette inngår at bedriften må forstå kunden, konkurransesituasjonen og egen leveranse/eget produkt i relasjon til kunden og konkurransen. Innovasjonsevne kan både være tilknyttet indre forhold, men også bedriftens relasjon med omverdenen. Innovasjonsevne handler om å benytte eksisterende ressurser på nye måter eller ta i bruk nye ressurser.8 Innovasjonsevne skiller seg ut ved å være en smalere tematikk enn profesjonalitet og markedsorientering som er mer sammensatt og består av mange ulike typer kompetanse og evner. Når vi snakker om FIGUR 4.2 FRAM-programmets målhierarki Økt verdiskaping i bedriften Overordnet mål Kompetansemål (delmål) Profesjonalitet Markedsorientering Innovasjonsevne Kilde: DAMVAD 8 OECD. The innovatove company EVALUERING AV FRAM | DAMVAD.COM 33 å få kompetanse innenfor innovasjon snakker vi om viklingskompetanse. Vi vet at det finnes flere tilby- konkret kompetanse på innovasjonsprosesser. dere i privat sektor som selger ulike former for be- Samtidig er det viktig å ha med seg at en bedrift kan ha evne til å være innovativ og være innovativ, selv om den ikke har tillært seg prosesser for å tilrettelegge for innovasjon. Faktisk kan økt kunnskap om strategiprosesser eller markedsorientering være kilder til å gjøre bedrifter mer innovative. Dette fordrer driftsrådgivning. Alle rådgiverne og prosjektlederne som inngår i FRAM-apparatet har bedriftsrådgivning som sin egentlige virksomhet. Behovet for FRAM skyldes at bedriftene ikke vet hva som er løsningen på utfordringene deres, og derfor ikke evner å innhente løsninger på egenhånd. at vi kan forvente atferdsendringer og resultater FRAM-apparatet, bestående av distriktskontor, pro- knyttet til innovasjon selv om bedriften ikke har vært igjennom et kompetanseløft knyttet til begrepet in- sjektledere og rådgivere, er innrettet slik at de jobber aktivt med å få bedrifter til å delta på FRAM. Av novasjon. intervjuer framkommer det at begrepet som oftest benyttes er at FRAM må «selges inn til bedrifter». Det er altså i liten grad noe bedrifter kommer på å 4.2 Markedssvikten er knyttet til asymmetrisk informasjon Det neste relevansspørsmålet er om det er behov for offentlig inngripen, eller om bedrifter kan bli mer profesjonelle, mer markedsorienterte eller mer innovative uten offentlig støtte. Hva er markedssvikten som ligger til grunn for dette virkemiddelet? En markedssvikt kjennetegnes ved at markedet på egen hånd ikke utløser en effektiv ressursfordeling. Eksempler på markedssvikt fra økonomisk teori er illustrert i Boks 4.4. Evalueringen tyder på at i den grad det finnes en markedssvikt forbundet med FRAM, så er denne knyttet til asymmetrisk informasjon. Bedriftene underinvesterer i kompetanse på forretningsutvikling fordi framtidig gevinst er vanskelig å se på investeringstidspunktet. På den en siden sitter bedriften som ser at den har noen utfordringer, men ikke hva den kan gjøre for å møte utfordringene. På den andre siden sitter FRAM-konsulenter og Innovasjon Norge med kunnskap om hva slags kompetanse bedriften vil kunne ha nytte av for å få økt vekst. Behovet for FRAM skyldes altså ikke at dette er det eneste virkemiddelet som bidrar til forretnings–ut- 34 EVALUERING AV FRAM | DAMVAD.COM gjennomføre på egenhånd. Det er altså noe med FRAM og den framgangsmåten som benyttes for å nå ut til bedrifter som er nøkkelen her. Hadde ikke Innovasjon Norge og FRAMkonsulentene jobbet like aktivt, tyder intervjuene våre på at alternativet ikke ville vært å få hjelp andre steder. Alternativet ville vært å ikke få hjelp og fortsette som før, med de konsekvensene det hadde medført. FRAM-programmet har således høy addisjonalitet. Et annet funn som tyder på at det er asymmetrisk informasjon som er den mest åpenbare markeds– svikten, er basert på funn på hva som skjer med bedriftene i etterkant av FRAM-deltakelse. Det vi finner er at mange av bedriftene fortsetter å kjøpe konsulenthjelp i etterkant av FRAM-deltakelse, evt. benytter andre virkemidler i regi av Innovasjon Norge dersom de fyller kriterier for dette. Således bidrar FRAM til at bedrifter får kunnskap om hvordan forretningsutviklingsutfordringer kan løses. FRAM bidrar således til en modningsprosess der bedrifter i større grad forstår hva som kreves for å vokse og drive lønnsomhet. Som det framkommer av Boks 4.4 kunne man tenkt seg andre former for markedssvikter også. Evalue- ringen tyder imidlertid på at hverken kunnskapslek- 4.3 Målgruppen til FRAM-programmet er kasjer eller stordriftsfordeler er noen utfordringer. modne for endring, men mangler infor- Ingen bedrifter har påpekt at de ikke ønsker å inves- masjon om løsninger tere i kunnskapsheving. Ingen av FRAM-rådgiverne har uttrykt at FRAM-bedrifter ikke er relevante kun- Diskusjonen i forrige avsnitt gir noen implikasjoner der – snarer tvert imot. FRAM rådgivere fungerer for hvilken målgruppe FRAM-programmet skal rette ofte som rådgivere for bedriftene også etter endt seg mot. I henhold til programbeskrivelsen er mål- FRAM-program. gruppen til FRAM små- og mellomstore bedrifter med potensial for vekst, i tillegg til noen andre kriterier som må være fylt: Ønske og vilje til vekst og utvikling i bedriftens ledelse BOKS 4.4 Ulike former for markedssvikt Virkemiddelbruk må begrunnes i at det eksisterer en form for markeds- eller styringssvikt som begrenser samfunnets evne til å oppnå maksimal verdiskaping. For eksempel kan det tenkes at bedrifter investerer mindre i innovasjon og forretningsutvikling enn hva som er samfunnsøkonomisk optimalt: Samtidig viser forskning at det er bedrifter som investerer i kompetanse og innovasjon som overlever og vokser. Sånn sett bør bedrifter ha insentiv til å investere i kompetanseheving. Ulike former for markedssvikt kan være relevante og bidra til underinvestering i kompetanse: Kunnskapslekkasjer og eksternaliteter: I følge nyere vekstteori vil bedriftene underinvestere i kompetanseheving som følge av at fordelene av dette vil kunne tilflyte andre (konkurrenter) i markedet. Dette gjelder både «generisk kompetanse», satsing på FoU og større innovasjoner. Når det gjelder «generisk kompetanseheving» av ansatte, vil man alltid kunne risikere at den ansatte tar med seg kunnskapen og begynner å jobbe et annet sted. Når det gjelder større investeringer i FoU, teknologi og innovasjoner vil man, riktignok uten patentrettigheter eller annen sikring, risikere at andre kopierer løsningene man kommer fram til. Kopistene får da en gevinst, mens den fulle kostnaden bæres av innovatøren. Mangelfull informasjon: Små- og mellomstore bedrifter gjerne økonomisk sårbare, og det påvirker dagens lønnsomhet stort å skulle gjøre store investeringer i tiltak som man først på mye lengre sikt vil kunne bære fruktene av. Dersom gevinstene er usikre vil de typisk framstå som mindre enn de reelt er. Offentlig støtte kan avlaste denne kostnaden på kort sikt slik at kommersielle resultater kan ta litt lengre tid enn om investeringen hadde vært fra egne knappe ressurser. Hver enkelt bedrift tar heller ikke uten videre hensyn til læringseffektene av å samarbeide i nettverk. Læringseffektene kan like gjerne oppstå hos andre i nettverket enn en selv. For en enkelt bedrift er slike gevinster en ekstern effekt som i samfunnsøkonomisk teori er en kilde til markedssvikt.9 Stordriftsfordeler: Det kan også hevdes at det finnes markedssvikt på tilbudssiden, bl.a. som følge av at tilbydere av kompetanse ikke anser små- og mellomstore bedrifter som relevante kunder og/eller at kompetansehevingstiltak ikke er godt nok tilpasset den enkelte bedrifts behov.10 En gruppe av små- og mellomstore bedrifter – som har nærliggende utfordringer – vil gjøre at en tilbyder får færre kostnader tilknyttet både å tilpasse kompetansehevingstiltaket (kan tilby en slags standard) og til å samle en gruppe kunder (kundene er allerede samlet). Således vil en gruppe av små- og mellomstore bedrifter være mer relevante som kunde enn enkeltstående bedrifter. 9 Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler. SNF. Arbeidsnotat 03/12. 10 Bolkesjø m.fl.(2005): Evaluering av FRAM og iVEL 1997-2005. Telemarksforskning-Bø. Arbeidsrapport nr. 1-2007. EVALUERING AV FRAM | DAMVAD.COM 35 Vilje og evne til å prioritere deltakelse i FRAM Økonomisk styringsfart – positivt resultat og FIGUR 4.5 Målgruppen i FRAM-programmet positiv egenkapital Evalueringen tyder imidlertid på at målgruppen er smalere enn det som kommuniseres gjennom programbeskrivelsen. Målgruppen er bedrifter som har et behov for kompetansetilførsel (og ønske om endring), men som ikke vet hva slags kompetanse de trenger eller hvordan de kan få tilført denne kompetansen. Bedriftene som har større forståelse for hva slags hjelp de trenger kan få hjelp på det private marke- Målgruppen skiller seg noe fra program- det. Innovasjon Norge skal ikke være en konkurrent til private tilbydere, og skal derfor ikke henvende seg til denne gruppen av bedrifter. type til programtype Det er i hovedsak tre varianter av FRAM-programmet, i tillegg til lokale tilpasninger. Målgruppen skil- Bedriftene som ikke forstår at de trenger hjelp er an- ler seg noe fra programtype til programtype, selv om takelig heller ikke modne for å få hjelp. Med ut- den generiske innfallsvinkelen beskrevet over gjel- gangspunkt i at FRAM er et program som krever en der. del ressurser av bedrifter, både i form av egenandel og tidsbruk, må bedriftene ha en egen vilje og motivasjon for å gjennomgå en utviklingsprosess. Målgruppen til FRAM er derfor bedriftene som er i midten av disse to gruppene, jf. Figur 4.5. I FRAM-Marked er målgruppen enda snevrere enn beskrevet over. Bedriftene som rekrutteres inn i dette programmet skal være interessert i et helt konkret marked i et helt konkret land. Programmet er innrettet mot at bedriftene skal få bedre forståelse av om det i det hele tatt er mulig å få innpass i markedet og hva som i så fall skal til. 11 Likevel er det asymmetrisk informasjon som er markedssvikten; bedriftene vet ikke på forhånd hva som er mulighetsområdet og hva som skal til får å få innpass i markedet. FRAM-Innovasjon har kun eksistert i ett år, og det er kun gjennomført noen få piloter i løpet av 2013/2014. Rekrutteringskriteriene er ikke fastsatt helt ennå. 11 Det vil for øvrig fortsatt variere fra FRAM-prosjekt til FRAM-prosjekt hvor langt bedriftene har kommet i en internasjonaliserings- og markedsorienteringstankegang. 36 EVALUERING AV FRAM | DAMVAD.COM Lokale tilpasninger er som regel knyttet til at det er Situasjonsanalysen som gjennomføres i forbindelse ønskelig med bransjespesifikke FRAM-program på med rekruttering av bedrifter er en måte å bakgrunn av satsingsområder i fylket. Målgruppen kvalitetssikre at bedriftene både har et behov for er derfor snevrere i den forstand at det kun er indu- hjelp, og at de er motiverte for å delta i et såpass stribedrifter eller kun landbruksbedrifter eller kun ressurskrevende program som FRAM. Programmet kulturbedrifter i hvert FRAM-prosjekt. FRAM er imid- er derfor innrettet på en slik måte at man forsøker å lertid fortsatt rettet mot bedrifter som har et behov sikre at de bedriftene som deltar i FRAM er bedrifter men som ikke vet hva løsningen er. som inngår i målgruppen. FRAM-programmet er godt innrettet for å nå målgruppen Hvorvidt Innovasjon Norge er innrettet for å nå ut til hele målgruppen er imidlertid et annet spørsmål. Selv om programbeskrivelsen beskriver målgrup- Rett nok er målgruppen smal, men det kan likevel pen til FRAM-programmet på en bredere måte enn det vi mener er den faktiske målgruppen, tyder eva- være ganske mange bedrifter det er snakk om. lueringen på at FRAM-apparatet og Innovasjon det er en gjennomgående strategi i Innovasjon Norge støtter forståelsen av hvem som faktisk er i Norge at enkeltprogrammer i liten grad markedsfø- målgruppen, og jobber ut fra dette. FRAM er innret- res. Begrunnelsen for dette er at bedrifter kun skal tet på en slik måte at man tilstreber å nå denne trenge å kjenne til Innovasjon Norge, ikke hele ap- smale målgruppen. paratet med ulike virkemidler som Innovasjon Norge FRAM-programmet markedsføres i liten grad, og forvalter (en dør inn-prinsippet). Dessuten er det utUtgangspunktet for å nå målgruppen er i hovedsak bedrifter som tidligere har vært i kontakt med Innovasjon Norge. Av spørreundersøkelsen framkommer det at det i høyeste grad er Innovasjon Norge fordrende å få kommunisert på en enkel måte hvem som faktisk er målgruppen, og man ønsker ikke å havne i en situasjon der det må brukes mye ressurser på bedrifter som er uaktuelle i utgangspunktet. eller noen andre fra FRAM-apparatet som foreslår deltakelse (Tabell 4.6). Som nevnt foregår derfor rekrutteringen av bedrifter gjennom Innovasjon Norges apparat. I noen fylker får imidlertid prosjektledere og rådgivere mulighet til TABELL 4.6 Rekrutteringsformer Hvordan ble du rekruttert til å delta i FRAM-programmet? Antall Prosent Jeg oppsøkte Innovasjon Norge med en generell forespørsel, og de foreslo at jeg skulle delta Jeg hadde hørt om programmet og tok kontakt med prosjektleder eller Innovasjon Norge for å høre om jeg kunne delta Jeg ble kontaktet av noen i FRAM-programmet (eller Innovasjon Norge) som sa at jeg var en aktuell kandidat Annet (vennligst spesifiser) 14 4.1 % 45 13.2 % 225 65.8 % 58 17.0 % Totalt 342 100 % Kilde: Spørreundersøkelsen EVALUERING AV FRAM | DAMVAD.COM 37 å komme med forslag til andre potensielle deltaker- oppsøke Innovasjon Norge. Som det framgår av av- bedrifter som de kjenner til gjennom sine nettverk. snitt 2.6 er det stort sett de samme næringene som Dette trepartssamarbeidet kan i bidra til å nå flere går igjen i FRAM som går igjen i Innovasjon Norges bedrifter i målgruppen, jf. Figur 4.7. Imidlertid kan virkemidler generelt det godt tenkes at det er de samme bedriftene som inngår i alles nettverk, og at det således ikke er gjensidig utelukkende grupper. FRAM-programmet når også bedrifter som antakelig ikke har reelt behov Det neste spørsmålet er om bedriftene som får At deltakere blir rekruttert gjennom nettverket til pro- støtte gjennom FRAM faktisk inngår i målgruppen, sjektledere og rådgivere fordrer imidlertid at Innova- eller om det er tegn på at det inngår bedrifter som sjon Norge er svært delaktige i vurdering og kvalifi- kanskje ikke hører hjemme her. seringen av bedriftene, for å forhindre at man inkluderer bedrifter som egentlig kunne kjøpt bedriftsrådgivningstjenester på det private markedet. En indikator på om Innovasjon Norge treffer rett målgruppe, er hva slags andre virkemidler i regi av Innovasjon Norge bedriften har deltatt på. Som påpekt blir bedriftene i hovedsak rekruttert gjennom In- FIGUR 4.7 Strategier for å nå målgruppen novasjon Norge. Ved bruk av Samspillsdatabasen12, har vi identifisert hvilke virkemidler bedriftene har benyttet før FRAM-deltakelsen, jf. Figur 4.8. Kilde: DAMVAD. Note: Dette er en skjematisk framstilling. Innovasjon Norges andel av målgruppekaken er framstilt større enn for prosjektleder og rådgiver siden evalueringen tyder på at det er denne inngangen som benyttes oftest. Imidlertid vil dette være noe forskjellig fra fylke til fylke, og avhenge av distriktskontorets engasjement. Risikoen ved å gå via Innovasjon Norges kunde– databaser er at programmet støtter superbrukere eller begrenser seg til sektorer som har tradisjon for å 12 DAMVAD har samlet data om bedrifters deltakelse i ulike virkemidler i regi av Innovasjon Norge og Norges Forskningsråd i en egen database. 38 EVALUERING AV FRAM | DAMVAD.COM Data om bedriftene som har fått støtte gjennom FRAM er koblet til Samspillsdatabasen for å kunne identifisere hva slags sammenhenger det er mellom FRAM deltakelse og andre støtteformer. Merk for øvrig at bedrifter kan ha fått støtte gjennom FIGUR 4.8 FRAM-deltakernes bruk av andre virkemidler i regi av Innovasjon Norge før deltakelse i FRAM 13 % 1% flere typer virkemidler; N= 1007 i denne figuren. For øvrig dreier det seg om 442 unike bedrifter. 0 %6 % 16 % 4.4 FRAM er relevant i alle geografiske områder, men benyttes i ulik grad Som det framkommer av kapittel 2.6 er det noen fylker som gjør seg mer bruk av FRAM enn andre. Særlig i Nordland har det vært svært mange FRAMprosjekter i tiden tilbake til 2007. Noe av dette kan nok forklares med at Nordland fylkeskommune dis- 64 % ponerer mye midler til regional utvikling, og derfor er bevilgningen fra Nordland fylkeskommune til Inno- Forsknings- og utviklingskontrakter (IFU/OFU) vasjon Norge Nordland relativt høy. Men dette er Bygdeutviklingsmidlene nok ikke forklaring alene. Vil anta at noe av årsaken Finansieringstjenester til at noen fylker i større grad benytter seg av FRAM, Andre tjenester Rådgivningstjenester (0.8 pst.) Nettverkstjenester (0.1 pst.) er knyttet til prioriteringer på det enkelte distriktskontoret. I forbindelse med evalueringen har vi intervjuet flere av Innovasjon Norges distriktskontorer og prosjekt- Kilde: Samspillsdatabasen (data fra Innovasjon Norge) N= 1007 ledere tilknyttet disse kontorene; både i sentrale strøk og mer perifere strøk. Alle er av den oppfatning at FRAM er relevant for bedrifter i det konkrete Det framkommer at bedriftene primært blir rekruttert geografiske området. Det skiller ikke noe på svar gjennom finansieringstjenestene (lån, tilskudd og avhengig av hvilket distrikts vi har undersøkt. stipend). Det er også interessant å legge merke til at en liten del av bedriftene som vi har funnet i Sam- Dette er imidlertid ikke så overraskende. Med ut- spillsdatabasen blir rekruttert fra OFU/IFU. Dette ut- gangspunkt i den noe smale målgruppen FRAM er gjør ca. 60 bedrifter, dvs. ca. 4 pst. av bedriftene rettet mot. Vi vil tro at denne typen bedrifter finnes som deltok i FRAM i perioden mellom 2007 og 2013. det eksempler av i alle fylker. Kanskje finnes det Med vår kjennskap til OFU/IFU tilsier dette at bedrif- noen flere av dem i noen fylker sammenliknet med ter som kvalifiserer til å få støtte her, antakelig er andre, men i det FRAM klarer å nå den faktiske mål- svært modne og oppegående bedrifter, som kan- gruppen er programmet like relevant (for målgrup- skje har mindre behov for FRAM deltakelse. Samti- pen) uavhengig av geografi. dig er det faktisk også entreprenører og gründere som kan få støtte gjennom IFU/OFU og som dermed sannsynligvis også har nytte av kompetansetilførselen som FRAM tilbyr. EVALUERING AV FRAM | DAMVAD.COM 39 4.5 Deltakerbedriftene opplever samlinger og tene opplevde som relevant, jf. Figur 4.9, mens nett- rådgivningen som relevant verkene i mindre grad har vært av betydning. Samtidig indikerer bedriftene som har deltatt i FRAM Vi har undersøkt gjennom spørreundersøkelsen sammen med bedrifter innenfor samme næring, at hvorvidt deltakerbedriftene selv opplever at FRAM- nettverket da oppleves som mer relevant (dette om- programmet er relevant. Svarene gir en indikasjon tales nærmere i kapittel 5.2.4). på at FRAM i aller høyeste grad treffer et behov. I spørreundersøkelsen fikk bedriftene spørsmål om «Gitt at du vet det du vet i dag, ville du fortsatt deltatt i FRAM-programmet den gangen du fikk tilbud om det?» Over tre fjerdedeler svarer at de ville deltatt. Dette positive svaret indikerer at bedriftene får igjen for investeringen av å delta i FRAM, og således opplever at programmet er relevant. 4.6 Er alt faglig påfyll like relevant? FRAM-programmet har utviklet seg over tid til å bli mer fleksibelt og individuelt tilpasset. Det finnes en bruttoliste over temaer som kan gjennomgås på samlinger, og enkelte temaer er obligatoriske. For øvrig er det i stor grad opp til prosjektleder, noen Spørreundersøkelsen indikerer for øvrig også at det ganger i samarbeid med Innovasjon Norges er særlig samlingene og rådgivningen som bedrif- FIGUR 4.9 Relevansen av samlinger, rådgivning og nettverk. Det faglige innholdet i samlingene var i hovedsak svært relevant for min bedrift 86% Jeg følte at rådgiveren forsto de særskilte behovene i min bedrift Gjennom FRAM-programmet har min bedrift fått et større nettverk av bedrifter som har vært svært nyttig for min bedrifts utvikling Helt enig Kilde: Spørreundersøkelsen Note: N = 270 40 EVALUERING AV FRAM | DAMVAD.COM 73% 20% 10% 4% 22% 54% 5% 26% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Delvis enig Uenig distriktskontor, å utvikle det enkelte FRAM prosjek- på at antallet respondenter er lavere fra periode til tet. Vi har ikke gått så detaljert til verks at vi har eva- periode, så derfor må svarene tolkes med forsiktig- luert relevansen av hvert enkelt prosjekt. het. For øvrig ble fleksibiliteten til FRAM økt i to perioder Svarene på spørreundersøkelsen indikerer at be- i evalueringsperioden, parallelt med at kriteriene for driftene som deltok på FRAM i den mer rigide perio- å bli rådgiver og prosjektleder ble endret og gjort den opplever relevansen ved de faglige samlingene mer fleksible. Vi har derfor undersøkt i hvorvidt det som høyere enn bedrifter som har deltatt i en mer er forskjell i opplevelsen av relevans, avhengig av fleksibel ordning. Økt målretting og tilpasning til hver tidspunktet bedriften deltok i FRAM. Resultatene enkelte bedrift, gjør at det er vanskeligere å utar- framgår av Figur 4.10. beide felles opplegg på samlinger som skal treffe alle bedrifter like godt. Målgruppen blir større, og En sammenlikning av bedrifter som har deltatt på langt mer heterogen – noe som vanskeliggjør enn ulike tidspunkt kan belyse betydningen av denne ut- god (nok) tilpasning. viklingen over tid. Det er viktig å være oppmerksom FIGUR 4.10 Relevans fordelt på periode 8% 2007 92% Det faglige innholdet i samlingene var i hovedsak svært relevant for min bedrift 88% Jeg følte at rådgiveren forsto de særskilte behovene for min bedrift 11% 6% 2012 og 2013 81% 15% 4% 2007 25% 75% Helt enig Uenig Delvis enig 8% 2008 tom. 2011 2% 2012 og 2013 23% 20% 52% 28% 2007 20% 51% 28% 2008 tom. 2011 24% 0% 2008 tom. 2011 84% 67% Gjennom FRAM-programmet har min bedrift fått et større nettverk av bedrifter som har vært nyttig for min bedrifts utvikling 9%4% Delvis enig Helt enig Uenig 58% 50 % 18% 2012 og 2013 100 % Kilde: Spørreundersøkelsen Note: N = 26, 140 og 123. Flest respondenter i tidsperioden mellom 2008 til og med 2011. EVALUERING AV FRAM | DAMVAD.COM 41 At relevansen til rådgiverne ikke har endret seg over tid i noen særlig grad tydeliggjør at prosjektlederne er gode på å finne en passende rådgiver til den enkelte bedriften. Selv om det over tid har blitt mer fleksibelt hva slags kompetanse rådgiverne skal ha, så virker ikke dette å ha hatt noen stor betydning for bedriftene (dette omtales mer i kapittel 5.5.5) Respondentene uttrykker at nettverket i mindre grad er relevant, sammenliknet med samlinger og rådgivningen, men det synes som at bedriftene som har deltatt i de siste årene av FRAM i større grad enn deltakerne som deltok for lengre tid siden opplever relevansen av nettverket. Denne responsen er uavhengig av bransjesammensetning på samlingene. En mulig forklaring på dette funnet kan være at nettverk og klynger er begreper som det har blitt satt mer søkelys på den senere tiden, og at dette søkelyset har gjort bedrifter mer bevisste på nettverk som et virkemiddel for egen utvikling. For øvrig, synes ikke FRAM å bidra til vedvarende nettverk, og programmet kan ikke regnes som et nettverksprogram. Det er mer nærliggende å beskrive FRAM som et program som tilrettelegger for erfaringsutveksling snarere enn nettverksbygging. 42 EVALUERING AV FRAM | DAMVAD.COM 5 Målrealisering, resultater og effekter Dette kapitelet drøfter i hvilken grad FRAM når sine Vi har vurdert de tre FRAM-innretningene under ett, målsetninger. Bidrar programmet til å styrke delta- fordi de inneholder de samme kompetanseområ- kernes vekstkraft gjennom økt kompetanse på om- dene, selv om de har noe ulik vektlegging. Vi gjør rådene profesjonalisering, markedsorientering og imidlertid noen særskilte vurderinger knyttet til innovasjon? FRAM Marked (som fram til 2012 het NAVIGATOR) I vurderingen av måloppnåelse benyttes kompetansetrekanten presentert i kapittel 2. Det vil si at vi har undersøkt hvordan bedriftene opplever læringspro- og FRAM Innovasjon som en del av kapittelet. Disse to variantene har kun eksistert i henholdsvis ett og to år.13 sessen (gjennom å delta på samlinger, få rådgiv- Avslutningsvis i kapittelet ser vi på effekter av delta- ningstimer og nettverk) og hvordan de vurderer kelse i FRAM-programmet, basert på en analyse av kunnskapen de har tilegnet seg på de tre områdene: regnskapstall. Denne analysen er gjort på tvers av Profesjonalitet Markedsorientering Innovasjonsevne de tre programmene siden alle innretningene har som overordnet målsetning å bidra til økt lønnsomhet. Hovedfunnet fra evalueringen er at FRAM i stor Videre har vi undersøkt hvordan bedriftene bruker grad bidrar til økt kunnskap, primært innenfor profe- kunnskapen de har tilegnet seg og i hvilken grad sjonalisering, i noe mindre grad (men i økende grad) kunnskapen bidrar til atferdsendringer. Avslutnings- innen markedsorientering og i enda mindre (men i vis drøftes hvilke resultater atferdsendring fører til i økende grad) innen innovasjon. Kunnskapen leder i virksomhetene. stor grad til atferdsendringer, særlig innen profesjonalisering, men i relativt liten grad til konkrete resul- FIGUR 5.1 Virkninger av kompetansetiltak tater. Det er videre vanskelig å spore konkrete effekter av FRAM i regnskapsstatistikken. Kompetansetrekanten er således relativt flat for FRAM-pro- Resultater Adferd grammet. 5.1 Respondentene har vært igjennom mange forskjellige kunnskapsområder Læring Det varierer fra FRAM-prosjekt til FRAM-prosjekt hvilke kunnskapsområder som har vært gjennom- Respons gått i FRAM-prosessen. Det varierer også fra bedrift til bedrift hva slags endringer FRAM-programmet Kilde: Kirkpatrick (2006) skal bidra til – for dette avhenger av bedriftens be- 13 NAVIGATOR har eksistert noe lengre, men ble omdømt til FRAM Marked i 2011. EVALUERING AV FRAM | DAMVAD.COM 43 hov. Overordnet skal FRAM bidra til profesjonalisering, markedsorientering og innovasjonsevne, for at bedriftene skal få økt lønnsomhet. For å vurdere måloppnåelsen til FRAM-program- TABELL 5.2 Kunnskapsområder kategorisert Kategori Profesjonalisering met, har det vært behov for en overordnet tilnærming. Vi har kategorisert de ulike potensielle kunnskapsområdene bedriften kan ha vært gjennom i FRAM-programmet, under overskriftene profesjo- Markedsorientering nalisering, markedsorientering og innovasjonsevne. I spørreundersøkelsen har bedriften fått mer konkrete spørsmål under de tre overskriftene, men svarene bedriftene har avgitt er så aggregert opp til disse tre kategoriene i presentasjonen som følger i Innovasjonsevne Kunnskapsområde Strategi Lederutvikling Organisering Ressurser Økonomi Marked Vekst Samfunnsansvar Nettverk Salg Sosiale media Innovasjonsprosesser kapittelet. Kilde: DAMVAD Tabell 5.2 viser de ulike kunnskapsområdene en FRAM-bedrift kan ha gjennomgått, og hvordan vi Noe som er utfordrende med FRAM er at profesjo- har definert dem under overskriftene profesjonalise- nalisering, markedsorientering og innovasjonsevne ring, markedsorientering og innovasjonsevne. Kate- til dels kan være overlappende tematikker. Med goriseringen er i samsvar med definisjonene pre- andre ord kan kunnskap om profesjonalisering bidra sentert i avsnitt 4.1. til at bedriften blir mer profesjonell, men også til at Vi har definert profesjonalisering som evne til å ut- den blir mer markedsorientert og innovativ. Likele- vikle funksjoner, rutiner og prosesser for oppgave- des kan økt markedsorientering bidra til økt innova- løsning og samhandling. Markedsorientering har vi sjonsevne, og muligens økt profesjonalitet. Det er definert som evne til å omsette kunnskap om mar- derfor relevant å måle resultater på alle tre kunn- ked i effektiv virksomhetsstrategi. I dette inngår at skapsmålene på tvers av de tre kunnskapsområ- bedriften må forstå kunden, konkurransesituasjo- dene. nen og egen leveranse/eget produkt i relasjon til I Tabell 5.3 framgår hva slags kompetanseområder kunden og konkurransen. Innovasjonsevne handler om å benytte eksisterende ressurser på nye måter respondentgruppen i spørreundersøkelsen har vært eller benytte nye ressurser. Innovasjonsevne skiller hva de har lært. Det skal nevnes at flere komment- seg ut ved å være et smalere kunnskapsområde. erte at det var vanskelig å huske tilbake i noen sam- Innovasjonskompetanse handler i denne sammen- menhenger, slik at det er ikke gitt at tabellen viser hengen om kunnskap om operasjonalisering av in- en helt nøyaktig sannhet. Tabellen illustrerer hvilke novasjonsprosesser og tilrettelegging for innova- kompetanseområder som respondentene sitter sjon i bedriften. igjen med. igjennom. Svarene er avgitt på direkte spørsmål om I tabellen har vi skilt på de ulike variantene av FRAM, men vær oppmerksom på at det er svært få respondenter innen FRAM Innovasjon og FRAM 44 EVALUERING AV FRAM | DAMVAD.COM Marked. Som tabellen viser, dekker alle programmene et relativt bredt spekter av kompetanseområder, noe som støtter vår begrunnelse i å vurdere FRAM under ett, på tross av noe ulik innretning. Utvikling av forretningsplanen er gjennomgående, men også et mer overordnet tema enn de øvrige områdene. Innen profesjonalisering er det særlig lederutvikling, organisering og økonomistyring som er framtredende kunnskapsområder. Innen markedsorientering er det særlig markedsorientering og markedsplanlegging samt vekststrategier. En god del bedrifter svarer også at de har vært igjennom innovasjonsprosesser. EVALUERING AV FRAM | DAMVAD.COM 45 TABELL 5.3 Kompetanseområder hos FRAM-deltakerne Hva jobbet din beStrategisk ledelse drift med i FRAMN=246 programmet? Det er mulig å gi mer enn ett svar. Strategi Utvikling av forretningsplanen Lederutvikling Styrefunksjonen Organisering og planlegging av oppgaver og tidsbruk Delegering og arbeidsdeling Rekruttering Opplæring av ansatte Økonomistyring og budsjettarbeid Markeds- Marked oriente- Konkurransesituasjon ring Vekststrategier Nettverk med andre bedrifter Nettverk med kunnskapsinstitusjoner Salg Sosiale medier Samfunnsansvar* Innovasjon Innovasjonsprosesser Totalt Marked N=25 Innovasjon N=5 Antall 209 Prosent 82 % Antall 19 Prosent 66 % Antall 3 Prosent 60 % 107 62 137 42 % 24 % 54 % 6 1 1 21 % 3% 3% 1 0 3 20 % 0% 60 % 87 34 % 0 0% 1 20 % 23 19 142 9% 7% 56 % 0 2 1 0% 7% 3% 0 1 0 0% 20 % 0% 132 95 126 62 52 % 37 % 50 % 24 % 21 11 15 9 72 % 38 % 52 % 31 % 5 4 3 3 100 % 80 % 60 % 60 % 19 7% 3 10 % 3 60 % 109 36 23 94 1482 43 % 14 % 9% 37 % 15 0 1 3 108 52 % 0% 3% 10 % 4 0 1 4 36 80 % 0% 20 % 80 % Kilde: Spørreundersøkelsen Note: Kun fullstendige svar. Flere respondenter har påbegynt, men ikke gjennomført spørreundersøkelsen. *Samfunnsansvar har vært obligatorisk fra 2011/2012 og ikke behandlet i noen særlig grad før dette. Dette er noe av grunnen til lav score her. 46 EVALUERING AV FRAM | DAMVAD.COM 5.2 Samlingene og rådgivningen står særlig sentralt i FRAM-prosessen Samlingene Bedriftene gjennomgår faglig innhold og møter de andre bedriftene på samlingene. Innholdet på sam- Som beskrevet tidligere består FRAM programmet lingene varierer ut fra behovene gruppen med be- av tre bærebjelker: rådgiverne, samlingene og nett- drifter har og hvilken variant av FRAM det dreier seg verket. Det er gjennom tilgang til disse at bedriftene om. Hvordan prosjektlederne presenterer det fag- skal styrke sin kompetanse og bli mer konkurranse- lige innholdet, og hvem som er ansvarlig for presen- dyktige. tasjoner varierer også mye mellom de ulike prosjek- Evalueringen tyder på at samlingene og rådgivningen gir mest nytte for bedriftene. Nettverket får også positiv tilbakemelding, men evalueringen tyder tene. Hvordan samlingene faktisk er og hvor relevante de oppleves for de ulike deltakerne kan derfor variere veldig. på at dette i mindre grad er viktig. Evalueringen ty- I utgangspunktet er det utfordrende å lage et opp- der også på at nettverkene er mest nyttige når be- legg som skal passe godt for alle bedrifter. Av den driftene som deltar er like og i samme bransje. FIGUR 5.4 Betydning av Samlinger. Hvor enig er du i følgende Kilde: Spørreundersøkelsen Note: N = 270 EVALUERING AV FRAM | DAMVAD.COM 47 grunn vil vi mene at responsen på spørreundersø- Bedriftene har også uttrykt at det er godt med noen kelsen viser at dette er noe FRAM-prosjektlederne i dager utenfor dagliglivet i bedriften, der de kan få stor grad får til. De fleste bedriftene oppgir i spørre- faglig påfyll og møte andre bedrifter. Selv om de undersøkelsen at samlingene var relevante og nyt- andre bedriftene er helt forskjellig fra en selv, ble det tig kunnskap (mellom 80 og 90 prosent), jf. Figur nevnt i intervjuene at de likevel hadde en del å lære 5.4. a hverandre. Respondentene ikke like tydelige på at samlingene Rådgiverne har ført til endringer i bedriftene. Intervjuene tyder dessuten på at en del av stoffet som gjennomgås er kjent fra før. Enkelte bedrifter har også kommentert at den faglige gjennomgangen bærer preg av å være «konsulentføde» og at opplegg kopieres fra program til program. Bedriftene uttrykker for øvrig forståelse for at det er utfordrende å tilpasse samlingene til en gruppe, siden det behovet alltid vil va- Rådgiverne er også svært sentrale i FRAM. Dette kommer primært fram gjennom intervjuer og delvis fra spørreundersøkelsen. Imidlertid er det gjennom de åpne spørsmålene i spørreundersøkelsen – og ikke de direkte spørsmålene, at respondentene uttrykker seg positivt om rådgiverne. På direkte spørsmål er responsen noe dårligere, og således tyder riere fra bedrift til bedrift. FIGUR 5.5 Betydning av rådgiver. Hvor enig er du i følgende utsagn? Kilde: Spørreundersøkelsen Note: N = 270 48 EVALUERING AV FRAM | DAMVAD.COM spørreundersøkelsen på at bedriftene opplever at “Et motiverende kurs, ikke minst fordi det er mulig å samlingene er viktigere enn rådgivningen. snakke og arbeide sammen med folk som har sam- Vi ville nok forventet at en større andel av bedrifter skulle uttrykt positiv respons på rådgivningen. Under halvparten mente at rådgivningen gjorde at de menlignende bedrifter med samme problemer.» Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan. gjør jobben sin i bedriften på en annen måte eller at Spørreundersøkelsen og intervjuene tyder på at be- rådgivningen bidro til at materialet fra samlingene driftene i liten grad danner sterke nettverk med de ble lettere å ta i bruk. andre bedriftene og få bedrifter samarbeider profe- I de åpne spørsmålene ble gode rådgivere som hjelper bedriftene utvikle strategi og gjøre nødvendige endringer blir trukket frem av mange, og også som det mest nyttige ved hele FRAM. «I samarbeid med rådgiver tok vi mange viktige veivalg som har ført oss dit vi er i dag. Det var til stor hjelp og vi er veldig glad for at vi gjennomførte FRAM i vår bedrift.” Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan sjonelt med disse i ettertid. Noen forteller at de har fått nyttige sparringspartnere og vennskap gjennom FRAM, men at dette er på et mer personlig nivå og har i liten grad ført til profesjonelle samarbeid, jf. Figur 5.6. “Gjennom deltakelse fikk vi fokus på noen områder som var nødvendig for virksomheten, det var veldig varierende kunnskapsnivå, omsetning og erfaring på de virksomhetene som deltok sammen med oss. Fikk lite igjen I forhold til diskusjoner og fokusområ- Det synes også som om det er en sammenheng der som vi jobbet i da vi var mye lengre kommet i de mellom de bedriftene som ikke er så fornøyd med fleste prosessene enn de andre som deltok. Det er programmet og de som ikke er fornøyde med sin nok viktig for fremtiden at det er virksomheter som rådgiver. er på samme "linje eller Status" slik at det blir nyttig Flere av bedriftene vi har snakket med forteller også for alle og at vi kan lære av hverandre.» at de i etterkant av FRAM kjøper tjenester fra rådgi- Sitat fra spørreundersøkelsen på spørsmål om hva veren selv. Dette kommer også frem i spørreunder- som har hatt effekt og hvordan. søkelsen. Noen bedrifter vurderer dette som uproblematisk, mens andre syns at rådgiverne ble for pågående med å selge egne tjenester. Nettverkene i FRAM varierer avhengig av hvor like bedriftene som deltar er. Både intervjuene og spørreundersøkelsen tyder på at nettverkene og sam- “Rådgiver hadde personlig agenda og brukte tiden lingene blir mer nyttige når bedriftene som deltar er til å selge sine egne varer og til og med selskaper.» i samme bransje. Bedriftene som har deltatt i FRAM Sitat fra spørreundersøkelsen på åpent spørsmål med en gruppe bedrifter som er i samme bransje Nettverket Nettverket er den tredje bærebjelken i FRAM-programmet og det er meningen at bedriftene, gjennom å møte andre bedrifter skal kunne utveksle erfaringer med likesinnede bedrifter og personer som som en selv, er gjennomgående mer positive til FRAM, selv om forskjellene ikke er dramatiske. Intervjuene tyder også på at bedriftene som deltar i FRAM i det minste bør være i «samme fase» - om de ikke også er i samme bransje. har lignende utfordringer. Evalueringen tyder på at det oppstår et nettverk i FRAM, men at dette ikke er et nettverk som vedvarer i etterkant av deltakelse. EVALUERING AV FRAM | DAMVAD.COM 49 At nettverkene ikke vedvarer i etterkant av FRAM kjemi med deltakeren, at innholdet og fokuset i sam- kan nok i stor grad forklares ved at FRAM ikke er et lingene er relevant og at sammensetningen av be- program som er etablert for å stimulere til nettverk. drifter i prosjektene er gode. Derfor vil sammensetningen av bedrifter variere fra gang til gang, og det settes ikke som krav om at bedriftene skal være komplementære eller likeartede.14 Prosjektlederne Det har blitt sagt at en god prosjektleder skal være usynlig for bedriftene. Med dette menes det at ideelt sett skal FRAM fungere slik at prosjektlederens rolle ikke vises og prosjektlederen kun trår inn når ting ikke fungerer slik det skal. Våre intervjuer imidlertid Prosjektlederne har ansvar for helheten i FRAM tyder på at prosjektlederne tolker sin rolle noe ulikt, prosjektene. De er ansvarlige for at bedriftene får en og noen prosjektledere er mer synlige enn andre. rådgiver som forstår deres behov og som har god Hvor mye av det faglige innholdet prosjektlederne presenterer, og hvor synlige de er i samlinger varierer også. FIGUR 5.6 Betydning av nettverket. Hvor enig er du i følgende utsagn Kilde: Spørreundersøkelsen Note: N =270 14 Klynge- og nettverksteori sier at klynger og nettverk oppstår der det er rasjonelt for bedrifter å samarbeide, enten ved at de er komplementære og det oppstår læring og innovasjon, eller ved at de er likeartede og de tjener på stordriftsfordeler. Ofte er det gjerne en kombinasjon; bedriftene 50 EVALUERING AV FRAM | DAMVAD.COM er likeartede i det at det forholder seg til samme marked, men komplementære i den forstand at de er i et kunde-leverandørforhold, eller leverer ulike komponenter i samme produkt. Tilbakemelding fra bedrifter på samlinger og rådgiv- 5.3 Økt kunnskap og verktøy, særlig innen profesjonalisering og markedsorientering ningen tyder på at prosjektlederne gjør en god jobb i å utvikle gode samlinger og å koble bedriften med en relevant rådgiver. Bedriftene har ikke blitt spurt FRAM-programmet har i stor grad bidratt til kompe- om prosjektlederne direkte siden de ikke har så mye tanseheving og verktøy hos bedriftene som har del- med dem å gjøre. tatt. Særlig oppgir bedriftene at de har fått økt kunn- Intervju med rådgiverne og Innovasjon Norges skap og forståelse for ulike områder innen profesjo- distriktskontor tyder på at gruppen av prosjektledere nalisering og markedsorientering, jf. Figur 5.7. 70 som har fått engasjement som FRAM-prosjektle- prosent av bedriftene har svart at de i stor grad eller dere er en dyktig gruppe. Det har ikke vært noen i svært stor grad har fått kunnskap på ett eller flere tilbakemeldinger på at noen prosjektledere ikke hol- av områdene som er knyttet til profesjonalisering. der mål. Likeledes har i overkant av 60 prosent svart at de i stor grad eller i svært stor grad har fått kunnskap på et av områdene knyttet til markedsorientering. Innen innovasjonsprosesser er andelen noe lavere. I underkant av 30 prosent har svart at de i stor grad eller i svært stor grad har mer kunnskap om innovasjonsprosesser. FIGUR 5.7 Andel bedrifter som i stor grad eller i svært stor grad har fått økt kunnskap innen områdene profesjonalisering, markedsorientering eller innovasjonsprosesser Profesjonalisering Markedsorientering Innovasjonsprosesser 0% 10% 20% 30% 40% 50% 60% 70% 80% Kilde: Spørreundersøkelsen Note: N =279 EVALUERING AV FRAM | DAMVAD.COM 51 Særlig oppgir mange at de gjennom FRAM har fått 5.4 Ny kompetanse endrer adferd i bedriftene bedre forståelse av strategiprosesser, økonomi og økonomistyring samt lederrollen og leders oppga- Bedriftene har i stor grad evnet å ta kunnskapen og ver. verktøyene fra programmet ut i praksis ved å gjøre «Vi har lært mer om å drive en bedrift og fått bedre endringer i bedriftene sine. oversikt over gjøremål og strategier.” Nesten alle bedriftene har gjennomført en endring i Sitat fra spørreundersøkelsen på spørsmål om hva en eller annen form i etterkant eller under deltakelse som har hatt effekt og hvordan av programmet. Andelen som har gjort endringer knyttet til profesjonalitet utgjør ca. 94 prosent, mens “Fikk analyse hvor vi var og hvor det var viktig å endringer knyttet til markedsorientering utgjør ca. sette inn struktur. I tillegg brukte vi mye tid på å kart- 88 prosent. Over 50 prosent av bedriftene har også legge vår markedsposisjon, studere konkurrentene gjort endringer knyttet til innovasjonsprosesser. og finne ut hvordan vi skulle jobbe mot å bli en betydelig aktør i vår bransje. Vi har lykkes i svært mange av de strategiske valg som ble gjort under Fram perioden, og hadde helt klart ikke vært der vi er i dag om jeg ikke hadde deltatt på dette.” Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Vi har også spurt bedriftene om FRAM har gitt bedriftene konkrete verktøy innen profesjonalisering, markedsorientering og innovasjon. Svarene er parallelle med figuren over, i den forstand at bedriftene i hovedsak har fått verktøy knyttet til profesjonalisering og markedsorientering og i mindre grad knyttet til innovasjon og innovasjonsprosesser. gitt at kunnskapsøkning leder direkte til atferdsendringer, selv om det er det man ønsker. Evalueringen tyder på at FRAM har en innretning som gjør at kunnskapen bidrar til noe mer. Spørreundersøkelsen tyder på at det er særlig endringer knyttet til å gjennomføre strategiprosesser og etablere nye mål og prioriteringer som bedriftene har gjennomført (76 prosent). Dessuten har svært mange utviklet forretningsplanen (69 prosent). 56 oppgir at FRAM har bidratt til å igangsette nye innovasjonsprosesser. Dessuten har over femti prosent av deltakerne tatt initiativ til eller økt deltakelse i uformelle nettverk med andre bedrifter og etablert I kapittel 4 var vi inne på at samlingene oppleves nye rutiner for å øke salg. Færre bedrifter har for- noe mindre relevante for bedriftene i dag, sammen- bedret innsamling analyse eller intern formidling av liknet med tidligere. På grunn av dette ønsket vi å markedsinformasjon eller konkurrenter (ca. 30 pro- undersøke hvorvidt respondentene har ulike opple- sent). velse av kunnskapen og verktøyene de har tillært seg i FRAM-perioden, avhengig av tidspunktet de deltok. Det ser ikke ut til å være noe særlige forskjeller i hvilken grad bedriftene mener de har fått kunnskaper innenfor profesjonalisering og markedsorientering over tid. Imidlertid har det vært en økning i hvorvidt bedriftene har fått økte kunnskaper innen innovasjon. Dette henger antakelig sammen med inntoget til FRAM Innovasjon den siste perioden. 52 Dette er svært positive resultater. Det er nemlig ikke EVALUERING AV FRAM | DAMVAD.COM Intervjuene med bedriftene tyder på at det er ulike typer endringer som gjennomføres. Noen endringer er svært konkrete og handler eksempelvis om å skaffe seg et IT-system, eller bytte lokalisering på bedriften. Andre endringer er mer knyttet til tankesettet; at bedriften endrer bevisstheten knyttet til hvordan de kan drive mer lønnsomt. På bakgrunn av denne bevisstgjøringen gjennomfører bedriftene mer systematiske strategiprosesser, og vurderer egen forretningsplan kontinuerlig. I forbindelse med disse strategiprosessene leier de gjerne inn bedriftsrådgivere; enten rådgiveren de fikk i forbindelse med FRAM, eller en annen rådgiver i det private markedet. Intervjuene og spørreundersøkelsen tyder på at endringskompetansen både skyldes innretningen til programmet. Programmet vektlegger gjennomføring konkrete tiltak og endringer gjennom utviklingsprosjektet. Ved at bedriftene får veiledning og konkret rådgivning underveis får de både hjelp til å se behov for endringer, men også støtte til å gjennomføre disse endringene. FRAM bidrar i større grad nå enn tidligere til atferdsendringer innen innovasjon, dersom vi ser på svarene til respondentene avhengig av hvilken periode de deltok i FRAM. Atferdsendringer innen profesjonalisering og markedsorientering har holdt seg stabilt uavhengig av periode bedriften deltok i FRAM. FIGUR 5.8 Bedrifter som har endret adferd som følge av FRAM. Profesjonalisering Markedsorientering Innovasjonsprosesser 0,0 % 10,0 % 20,0 % 30,0 % 40,0 % 50,0 % 60,0 % 70,0 % 80,0 % 90,0 % 100,0 % Kilde: Spørreundersøkelsen Note: 277 EVALUERING AV FRAM | DAMVAD.COM 53 5.5 Noen bedrifter får bedre resultater som bedrifter som har gjennomført endringer. Dette kan følge av deltakelse i FRAM blant annet skyldes at de konkrete resultatene ikke har blitt oppnådd ennå. Dessuten er profesjonalise- Det siste trinnet i kompetansetrekanten er konkrete ringsarbeid og markedsorienterte kontinuerlige pro- resultater som følge av kompetansehevingen. Be- sesser, og bedriftene påpeker i intervjuene at dette driftene ble spurt om FRAM-programmet har ført til er problemstillinger de jobber kontinuerlig med. faktiske forbedringer på ulike områder innen profe- I de følgende avsnittene ser vi nærmere på typen sjonalisering, markedsorientering og innovasjon. resultater bedriftene har oppnådd. Svarene reflekterer det vi tidligere har sett, at det er mest positive resultater knyttet til profesjonalisering, deretter markedsorientering og avslutningsvis innovasjonsevne. Det framkommer imidlertid av spørreundersøkelsen at bedriftene i større grad nå enn tidligere rapporterer om resultater innen innovasjon. Evalueringen viser at det er færre bedrifter som oppgir at de har oppnådd konkrete resultater enn FIGUR 5.9 Bedrifter som i stor grad eller i svært stor grad mener FRAM har bidratt til at bedriften har blitt/fått: Mer profesjonell Mer markedsorientert Bedre systemer for innovasjon 0,0 % Kilde: Spørreundersøkelsen Note: N = 276 54 EVALUERING AV FRAM | DAMVAD.COM 10,0 % 20,0 % 30,0 % 40,0 % 50,0 % 60,0 % 70,0 % Profesjonalisering «Ny ledelsesstruktur med klarere roller og ansvars- Figur 5.10 viser bedriftenes vurdering av ikke-øko- fordeling, ekstern server for informasjon som er til- nomiske resultater som følge av økt profesjonalise- gjengelig for alle, utvikling av design i etterkant av ring. I henhold til spørreundersøkelsen har FRAM FRAM prosjektet ved hjelp av Innovasjon Norge, ut- særlig bidratt til en bedre forretningsplan, bedre vikling av opplæringsverktøy for personalet etc. Vel- kontroll med bedriftens økonomi og bedre ledelse. dig positivt å bli dratt ut av komfortsonen og utford- FRAM har i mindre grad bidratt til bedre rekruttering. ret! Bravo FRAM!” De åpne kommentarfeltene i spørreundersøkelsen Sitat fra spørreundersøkelsen på spørsmål om hva illustrerer ulike typer resultater bedriftene har fått. som har hatt effekt og hvordan Markedsorientering “Bedriften har fått litt bedre rutiner i forhold til nedskrevne handlingsplaner og budsjett.» Innen markedsorientering er resultatene noe sva- Sitat fra spørreundersøkelsen på spørsmål om hva kere enn innen profesjonalisering. Men flere bedrif- som har hatt effekt og hvordan ter oppgir nye kontrakter både i nye og i eksisterende markeder. Et punkt som etter vår mening kanskje burde hatt en mer positiv respons, er oversikt over konkurrenter. For å være markedsorientert FIGUR 5.10 Resultater knyttet til profesjonalisering Bedre forretningsplan Bedre kontroll med bedriftens økonomi Bedre ledelse Bedre organisering av egne oppgaver og tidsbruk Bedre arbeidsdeling Et mer kompetent styre Bedre samarbeidsformer mellom ansatte Bedre rekruttering 0% I stor grad 10% 20% I noen grad 30% 40% 50% 60% 70% 80% 90% 100% I liten grad Kilde: Spørreundersøkelsen Note: N = 276 EVALUERING AV FRAM | DAMVAD.COM 55 skal bedriften både ha større forståelse for marke- og Innovasjon Norge på økt kulturforståelse og hjelp det den opererer i, men også forståelse for konkur- til å komme i kontakt med potensielle kunder. Godt renter som opererer i samme marked. fornøyd med dette. Kunne ytt noe mer egeninnsats.” Sitat fra spørreundersøkelsen på spørsmål om hva «Bedre markedsplan, organisering og effektivise- som har hatt effekt og hvordan ring. Gitt bedriften og dens involverte bedre forutInnovasjon setninger for å tiltrekke nødvendig finansiering (investorer).” Over halvparten av bedriftene oppga i spørreunder- Sitat fra spørreundersøkelsen på spørsmål om hva søkelsen at de har satt i gang innovasjonsprosesser som har hatt effekt og hvordan som følge av deltakelse i FRAM. Innovasjonsgraden på prosjektene er lav sammenlignet med Inno- "Vi var tre bedrifter som allerede før programmet vasjon Norges kundeeffektundersøkelse, men dette hadde bygget fabrikk i Vietnam. Som et ledd i denne gjenspeiler trolig at FRAM (med unntak av FRAM satsingen ønsket vi økte leveranser til det vietname- Innovasjon) ikke er et innovasjonsprogram. siske markedet. Vi fikk god hjelp av både rådgiver FIGUR 5.11 Resultater knyttet til markedsorientering Mer salg Nye kontrakter i nye markeder Mer samarbeid med andre bedrifter Et større nettverk med bedrifter Nye kontrakter i eksisterende markeder Bedre oversikt over konkurrenter Økt samfunnsansvar Et større nettverk med kunnskapsinstitusjoner 0% I stor grad Kilde: Spørreundersøkelsen Note: N = 270 56 EVALUERING AV FRAM | DAMVAD.COM 10% 20% 30% I noen grad 40% 50% I liten grad 60% 70% 80% 90% 100% Omtrent 56 prosent av bedriftene oppga i spørre- en tjeneste. 34 prosent oppgir at deltakelsen har bi- undersøkelsen at FRAM har bidratt til at bedriften dratt til utvikling av produksjonsprosesser, jf. Figur har igangsatt nye innovasjonsprosesser for nye tje- 5.12. nester eller produkter. Med andre ord har FRAM ført til at bedriftene har blitt mer innovative, selv om innovasjon i seg selv ikke har vært et fokus på kompetansehevingen. Dette kan skyldes at ved at bedriftene blir mer systematiserte og profesjonelle, og får mer kunnskap om kundenes behov gjennom markedsorientering, oppstår det innovasjon. Bedrif- Bedriftene som svarte ja på hvorvidt programmet hadde bidratt til innovasjon på de ulike områdene fikk oppfølgingsspørsmål knyttet til hva slags type forbedring eller utvikling de hadde gjort, og en vurdering av innovasjonsgrad i form av hvor nytt det de har utviklet er. tene ser hvordan de kan forbedre seg og sitt produkt Sammenlignet med innovasjonsgraden til alle be- og har bedre systemer og kapasitet for å sette i driftene som fikk støtte av Innovasjon Norge i 2009, gang slike prosesser. og deltok i etterundersøkelsen i kundeeffektunder- Bedriftene har også fått spørsmål knyttet til faktiske innovasjoner. Rundt halvparten av bedriftene oppgir søkelsen til Innovasjon Norge i 2013, er innovasjonsgraden til bedriftene lav. at FRAM-programmet har bidratt til organisasjons- I etterundersøkelsen til kundeeffektundersøkelsen utvikling eller utvikling av et produkt, en vare eller til Innovasjon Norge i 2013 lå innovasjonsgraden FIGUR 5.12 Har FRAM-programmet bidratt til at din bedrift har utviklet eller forbedret: Kilde: Spørreundersøkelsen Note: N = 270 EVALUERING AV FRAM | DAMVAD.COM 57 (andel utviklinger som er helt nye) på 25 prosent på imidlertid ikke av regnskapsanalysen der vi ikke fin- produkter, varer og/eller tjenester og 11 prosent på ner økonomiske effekter av deltakelse i FRAM (ut- produksjonsteknologi eller produksjonsmetoder. Til- dypes nærmere senere). svarende tall for vår spørreundersøkelse var 16 prosent for produkt/vare og/eller tjenester og 5 prosent I tillegg har 28 pst svart at FRAM i stor eller svært for produksjonsteknologi eller –metoder. stor grad har styrket bedriftens overlevelsesmulighet. Det siste gjelder både for bedrifter som deltok i Økonomiske resultater en tidlig fase og bedrifter som har deltatt de siste I spørreundersøkelsen har deltakerbedriftene svart årene. på hvordan FRAM har innvirket på økonomiske resultater. Svarene kan både si oss noe om effektene Økt lønnsomhet og omsetning er viktig for alle be- av FRAM og deltakerbedriftenes utgangspunkt. drifter. Overlevelsesmulighet er i større grad en re- Omtrent 20 pst oppga at deltakelsen i FRAM i stor levant variable for bedrifter som opplever betydelige eller svært stor grad har ført til bedret lønnsomhet utfordringer. I de senere årene har FRAM styrket sin eller økt omsetning jf. 5.13. Dersom vi tar med kate- vektlegging av vekstkraft i utvelgelse av deltakerbe- gorien «i noen grad» er det rundt 60 pst. av bedrif- drifter. Det betyr at deltakerne skal være godt etab- tene som mener FRAM har bidratt til økt lønnsom- lerte bedrifter i vekst og med gode resultater. Over- het eller økt omsetning. Disse svarene understøttes levelsesmulighet skal dermed i prinsippet ikke være FIGUR 5.13 I hvilken grad har din bedrift, som følge av deltakelse i FRAM oppnådd: Bedret overlevelsesmulighet 28% 44% Økt omsetning 21% 40% Bedret lønnsomhet 20% 43% Større markedsandel innenlands 13% Bedre systemer for kommunikasjon med omverden 33% 57% 87% Større markedsandel utenlands 3% 7% 90% 20% I stor grad 58 EVALUERING AV FRAM | DAMVAD.COM 37% 54% Økt eksport 4% 9% Kilde: Spørreundersøkelsen Note: N = 270 39% 34% 10% 0% 28% 40% I noen grad 60% I liten grad 80% 100% et relevant resultat av FRAM. Når overlevelsesmulighet likevel oppleves som en viktig effekt for deltakerbedriftene, kan det tyde på at rekrutteringen i stor grad også omfatter svakere bedrifter. FRAM har i mindre grad ført til større markedsandel innenlands eller bedre kommunikasjon med omverden. FRAM har i liten grad bidratt til at bedriftene har fått nye markeder i utlandet; nesten ingen oppgir at FRAM har bidratt til økt eksport eller større markedsandeler utenlands. Dette reflekterer nok både at det at det å komme seg inn på nye utenlandske markeder er krevende, men også at FRAM, med unntak av FRAM Marked og Navigator, ikke har hatt særskilt fokus på dette. EVALUERING AV FRAM | DAMVAD.COM 59 Bedriftene i distriktsfylker oppgir i noen Av de 342 bedriftene som har svart på undersøkel- grad mer positive resultater av FRAM del- sen er det 131 bedrifter vi ikke har adresse eller takelse kommune nummer på, men for de resterende er det Evalueringen indikerer at FRAM har gitt noe mer po- 124 bedrifter som er innenfor det distriktspolitiske sitive resultater for bedriftene som er innenfor det virkeområdet og 87 bedrifter som er utenfor. distriktspolitiske virkeområdet enn de som er utenfor. Dette kan tolkes i retning av at FRAM i større grad klarer å treffe riktig målgruppe i distriktene. Jevnt over oppgir flere av bedriftene som er innenfor det distriktspolitiske virkeområdet at de har fått økt kunnskap, endret adferd og oppnådd resultater som følge av FRAM enn de som er utenfor det distriktspolitiske virkeområdet. Forskjellene mellom de to gruppene er små, men gjennomgående, jf. Figur 5.15. FIGUR 5.14 I hvilken grad har din bedrift, som følge av deltakelse i FRAM oppnådd: 35% Økt omsetning 50% 41% 88% Økt eksport 50% Større markedsandel innenlands 0% I liten grad I liten grad EVALUERING AV FRAM | DAMVAD.COM 54% 51% 41% 39% 50% 41% 20 % 23% I noen grad I noen grad 14% 40 % I stor grad I stor grad 60 % Innenfor Utenfor 22% 15% 24% 47% Innenfor Utenfor 18% 9% 26% 29% Bedre systemer for kommunikasjon med omverden 60 44% 24% Bedret overlevelsesmulighet 9% 3% Innenfor 5% Utenfor 9% 3% Innenfor 10% 3% Utenfor 39% 33% Bedret lønnsomhet Kilde: Spørreundersøkelsen 12% 88% 54% Større markedsandel utenlands Innenfor Utenfor 16% 9% 18% 80 % 10% 4% Innenfor Utenfor 10% 7% Innenfor Utenfor 100 % 5.6 FRAM Marked kedsstrategien og/eller potensielle samarbeidspartnere. For noen bedrifter (31 prosent) har derimot Forskjellen på FRAM Marked og FRAM Strategisk deltakelsen ført til at de har innsett at de ikke burde ledelse, er at FRAM Marked er rettet mot bedrifter satse i det aktuelle markedet, jf. Figur 5.15. som har et konkret, internasjonalt marked de ønsker Blant bedriftene som har deltatt i FRAM Marked/ å komme inn på. Således dreier programmet seg i NAVIGATOR er det en noe høyere andel som me- stor grad om å få kunnskap om dette konkrete mar- ner at FRAM har bidratt til økt eksport eller større kedet, og hva som skal til for å slå igjennom i mar- markedsandeler (10 prosent, 3 av 30) enn delta- kedet. kerne i FRAM samlet sett (henholdsvis fire og tre Intervjuer med FRAM-apparatet tyder på at det kan prosent). Disse tallene vil vi fortsatt vurdere som litt variere fra prosjekt til prosjekt i hvilken grad lave, tatt i betraktning at markedsorientering er ho- bedriften er moden for å gå inn i et nytt marked, og vedformålet med FRAM Marked. 70 prosent (21 be- det varierer også derfor hva bedriften har kunnskap drifter) mente at deltakelsen i liten grad hadde ført om. Et resultat av FRAM-deltakelse kan vel så gjerne være at bedriften bestemmer seg for ikke å til større markedsandeler utenlands og 57 prosent satse på å gå inn i markedet. For de fleste bedrif- økt eksport. tene som har deltatt på FRAM Marked/ NAVIGA- Resultatene tyder på at rekrutteringen til FRAM TOR (rundt 60 prosent) har programmet hjulpet Marked kan være strengere. Dette ble også påpekt (17 bedrifter) at deltakelsen i liten grad hadde ført til dem inn på nye markeder ved hjelp av å finne mar- FIGUR 5.15 Resultater av FRAM Marked Deltakelse i FRAM Marked/Navigator bidro til at jeg fikk kontakt med potensielle samarbeidspartnere i det… 59% Deltakelse i FRAM Marked/Navigator bidro til at jeg fant markedsstrategien for å komme inn i markedet 34% 62% Deltakelse i FRAM Marked/Navigator fikk meg til å innse at vi ikke burde satse i det aktuelle markedet 31% 31% 0% 59% 20% Ja 40% Nei 60% 7% 7% 10% 80% 100% Vet ikke/Ikke relevant Kilde: Spørreundersøkelsen Note: N = 25 EVALUERING AV FRAM | DAMVAD.COM 61 gjennom intervjuer med rådgivere og prosjektle- FRAM Innovasjon jevnt over har vært fornøyd med dere. Selv om det er krevende å komme seg inn på deltakelse i programmet. Fire av fem respondenter et nytt marked og øke sin eksport, bør det kunne ville deltatt igjen dersom de hadde fått muligheten. forventes bedre resultater og effekter. Trolig gir programmet mer verdi for bedrifter som allerede er på vei inn på et nytt marked og er mer modne for hjelp. Mulig bør FRAM Marked ha enda strengere kriterier for deltakelse. Dette styrker også argumentet for at FRAM Marked beholdes som et nasjonalt program. Det framkommer videre av spørreundersøkelsen at det bedriftene primært har fått igjen av deltakelse er inspirasjon til å tenke innovativt og verktøy til å sette innovasjonsprosesser i system. Tre av respondentene har en konkret innovasjon de ønsker å få ut på markedet, men på tidspunktet undersøkelsen ble FRAM Marked – i sin nåværende form har kun ek- gjennomfør var det to som ikke hadde noen konkret sistert siden 2012, men NAVIGATOR har eksistert innovasjon. Det kan derfor ikke forventes så mange noe lengre. I perioden 2007-2013 har 86 bedrifter konkrete resultater og effekter av deltakelsen på det deltatt på FRAM Marked/Navigator, og 32 har svart nåværende tidspunktet. på spørreundersøkelsen. Selv om dette gir en svarprosent på 37 pst. bør svarene tolkes med forsiktighet siden populasjonen er såpass liten. Kun 25 bedrifter har gitt fullstendige svar. To av respondentene har deltatt i FRAM-programmet tidligere. Det framkommer ikke hvilken variant av FRAM de har deltatt i tidligere, men i og med at FRAM Innovasjon er helt nytt, har de sannsynligvis deltatt i FRAM Strategisk ledelse. 5.7 FRAM Innovasjon FRAM Innovasjon skiller seg fra FRAM Strategisk ledelse i den forstand at det har et sterkere fokus på innovasjonsprosesser og hvordan bedriften kan tilrettelegge for innovasjon. Utviklingsprosjektet bedriften skal gjennomføre i løpet av FRAM-prosessen handler om hvordan planlegge og igangsette innovasjonsprosjekt. FRAM Innovasjon har vært pilot i 2013. Noen av pilotprosjektene pågår fortsatt. I 2013 hadde kun 16 bedrifter deltatt på FRAM Innovasjon, hvorav 6 har svart på spørreundersøkelsen15. Selv om svarprosenten er 37,5 pst. er det betydelig usikkerhet knyttet til svarene som følge av at populasjonen er så liten. Selv om svarene skal tolkes med forsiktighet, kan vi nevne at det ser ut til at bedriftene som har deltatt i 15 62 En har imidlertid kun svart på begynnelsen av undersøkelsen. EVALUERING AV FRAM | DAMVAD.COM 5.8 Økonomiske effekter kan ikke dokumen- heter, hvor vi finner igjen regnskap for 799 i Enhets- teres registeret. Det endelige utvalget inkluderer 384 deltakere i FRAM-programmet. I spørreundersøkelsen ble bedriftene spurt om hvil- Figur 5.17 viser utviklingen i gjennomsnittlig verdi- ken effekt de mener FRAM deltakelsen samlet sett skaping16 for deltakere i FRAM-programmet og kon- har hatt på bedriften. Over 80 prosent mener at del- trollgruppen for fire år før og etter deltakelse. Utvik- takelsen har hatt en positiv effekt. lingen er indeksert til det året virksomheten deltar, slik at den i år null per definisjon er identisk for de to FIGUR 5.16 Samlet sett, hva slags effekt tror du deltakelsen I FRAM-programmet har hatt for din bedrift? gruppene.17 Figuren belyser at utviklingen i gjennomsnittlig verdiskaping for de to gruppene følger hverandre tett både før og etter deltakelse. Dette betyr at vi ikke kan påvise signifikante forskjeller i verdiskaping mellom deltakerbedrifter og en bedrifter det ville vært naturlig å sammenlikne med (kontrollgruppa). FIGUR 5.17 Gjennomsnittlig verdiskaping 180 180 160 160 140 140 I dette kapittelet ønsker vi å identifisere forskjeller i 120 120 økonomisk utvikling mellom de virksomhetene som 100 100 80 80 60 60 40 40 N=270 har deltatt i FRAM-programmet og lignende virksomheter som ikke har deltatt i FRAM-programmet. Den økonometriske analysen benytter en metode kjent som «propensity score matching (PSM)», og 20 20 Deltaker 0 er utdypet nærmere i vedlegg 2. Analysen benytter regnskapsdata fra Enhetsregis- Kontroll 0 -4 -3 -2 -1 0 1 2 3 4 Kilde: DAMVAD 2014 teret for perioden 2003-2012, koblet med Innovasjon Norges deltakerlister for FRAM-programmet for evalueringsperioden 2007-2013. Deltakerlistene for FRAM-programmet inneholder 1246 unike virksom- 16 Definert som summen av driftsresultat, av- og nedskrivninger av varige driftsmidler og immaterielle eiendeler og lønnskostnad. Det er rimelig å anta at det vil ta tid før vi observerer effekter på økonomiske størrelser som omsetning og verdiskaping som følger av deltakelse i FRAM- 17 Antall deltakere og kontrollforetak vil derimot reduseres dersom man beveger seg bort fra deltakeråret (år null). Derfor er også perioden for effektmålingen begrenset til fire år før og etter deltakelse. EVALUERING AV FRAM | DAMVAD.COM 63 programmet. Likevel er tidsperspektivet noe begrenset. Med de dataene vi har tilgjengelig vil maksimal periode etter deltakelse være fem år, og det er begrenset hvor mange virksomheter som deltok i FRAM-programmet i 2007 og som vi finner igjen i Enhetsregisteret. Dersom vi hadde hatt data på deltakere 10-15 år etter deltakelse ville vi i større grad kunne forvente å fastslå effekter på for eksempel verdiskaping. Kontrollgruppen (den kontrafaktiske situasjonen) er etablert med utgangspunkt i bedriftenes størrelse, finansielle situasjon, lønnsomhet, geografi, næring og alder. Se Vedlegg 2 for nærmere informasjon om valg av variable og kontrollgruppens karakteristika. Selv om vi skal være forsiktig med å legge for stor vekt på disse resultatene, peker både beskrivelsen av bedriftene (avsnitt 2.5.6) og den økonometriske analysen på at deltakerne i FRAM-programmet ikke skiller seg nevneverdig fra lignende virksomheter med tanke på økonomisk utvikling. Resultater fra spørreundersøkelsen og intervjuer tyder også på at konkrete resultater fra FRAM er svake, selv om det også finnes positive resultater. Det vil vanskelig la seg gjennomføre en økonometrisk undersøkelse av om økonomiske effekter er større eller mindre for bedrifter innen det distriktspolitiske virkeområdet enn de som er utenfor. Dette ville krevd at det finnes et tidspunkt for når en bedrift endrer status fra å være innenfor til utenfor eller omvendt for å se om dette gir seg utslag i økonomiske variable. 64 EVALUERING AV FRAM | DAMVAD.COM 6 Organisering og effektivitet Dette kapittelet drøfter organisering og effektivitet i Selv om organiseringen fungerer bra, er det noen FRAM-programmet. Selv om offentlig innsats gir re- punkter man bør være oppmerksomme på, jf. Figur sultater i tråd med målene, kan det tenkes at resul- 6.1. Disse punktene er primært knyttet til rekrutte- tatene kunne blitt enda bedre, ved hjelp av annen ring av bedrifter og rekruttering av rådgiverkorpset. organisering eller innretning, jf. evalueringens problemstilling «Er programmet hensiktsmessig or- I tillegg tyder evalueringen på at Innovasjon Norges hovedkontor kan vri ressursbruken noe. ganisert for å nå sine mål og er det kostnadseffektivt?». Analysene i dette kapittelet bygger på dybdeintervjuer med FRAM-apparatet, i tillegg til spørreundersøkelsen mot bedrifter og dybdeintervjuer 6.2 FRAMs insentivstruktur påvirker rekrutteringen av bedrifter med bedrifter. Avslutningsvis i kapittelet gjør vi en enkel samfunnsøkonomisk vurdering av programmet, basert på de viktigste kostnadskomponentene i programmet, og gevinsten vi har identifisert gjennom regnskapsanalysen. Organiseringen av FRAM kan gi en viss risiko for at for mange bedrifter rekrutteres inn. Som figuren viser er dette en oppgave som er fordelt på mange aktører, og som da potensielt bidrar til koordineringskostnader. Evalueringen tyder for øvrig på at samarbeidet i forbindelse med rekrutteringen er positivt både fordi det bidrar til å nå flere bedrifter i mål- 6.1 Organisering av FRAM-programmet fung- gruppen, og til å sikre at bedriftene man tilbyr FRAM erer i hovedsak bra faktisk er kvalifiserte til å delta. Således virker gevinstene å oppveie for kostnadene ved koordine- FRAM-programmet er organisert ved at det er flere ringen. aktører med ulike roller som driver programmet, jf. Imidlertid skal man være oppmerksom på insentivs- kapittel 2.4. Man kunne tenkt seg at dette gir utford- trukturen i FRAM som følger av at det er så mange ringer, særlig på to måter aktører involvert – både offentlige og private, selv 1. Deltakerbedriftene får en dårligere opplevelse av programmet – for mange aktører å om evalueringen ikke tyder på utfordringer i noen særlig grad per i dag. forholde seg til 2. Mye tid til går bort til koordinering Evalueringen tyder imidlertid på at organiseringen i hovedsak fungerer bra. Deltakerbedriftene forholder seg egentlig ikke til så mange aktører, men hovedsakelig til prosjektleder i forbindelse med fellessamlingene og rådgiver i forbindelse med rådgivningstimene. I noen tilfeller er dessuten dette samme person. Bedrifter er som nevnt primært rekruttert gjennom Innovasjon Norges system, og har således en kundeansvarlig der. Det er i hovedsak den samme kundeansvarlige som følger opp bedriften i etterkant av FRAM. EVALUERING AV FRAM | DAMVAD.COM 65 FRAM-rådgivere har insentiv til å sikre et insentiv fra rådgivers side å være rådgiver for så inntjening mange bedrifter som mulig. Dette kan gi en uheldig FRAM-rådgiverne kompenseres etter hvor mange implikasjon, nemlig at man forsøker å rekruttere så samlinger og prosjekter de gjennomfører. Rådgi- mange bedrifter som mulig, også bedrifter som vur- verne er bedriftsrådgivere generelt også, på det pri- deres utenfor målgruppen, i det at de hadde klart vate markedet, men gjennom å være sertifisert som seg fint på egenhånd eller at ved de ikke er moti- FRAM-rådgiver får rådgiverne mer eller mindre verte nok. faste oppdrag. Det er ikke satt noen øvre grense for antall bedrifter de kan rådgi fra sentralt hold. Intervjuene tyder imidlertid på at prosjektleder og rådgiverne selv setter grense på fire-fem bedrifter, for å sikre at tid til å følge dem opp skikkelig. Behovet rådgiveren har for å være FRAM-rådgiver vil avhenge av hvor mye rådgiverbedriften har å gjøre ellers. Som følge av at det å være FRAM-rådgiver gir en variabel inntekt til rådgiver etter aktivitetsnivå, er det FIGUR 6.1 Oppmerksomhetspunkter i organisering av FRAM Kilde: DAMVAD 66 EVALUERING AV FRAM | DAMVAD.COM Samtidig har vi sett at deltakerbedriftene gjerne kjøper konsulenttjenester i etterkant av FRAM-deltakelse, og kan således gi rådgiverbedriftene framtidig inntekt. Dette gir insentiver til å gjøre en god jobb i kvalifiseringsrunden. Dersom man rekrutterer umotiverte bedrifter er sannsynlighetene større for at de faller fra underveis. Evalueringen vår tyder på at det er svært få bedrifter som faller fra underveis. Evalueringen tyder dermed på at FRAM-apparatet klarer å rekruttere bedrifter som er motiverte nok. TABELL 6.2 Byttet du rådgiver underveis? Prosjektledere har også insentiv til å Antall Prosent Ja 28 9.8 % Nei 259 90.2 % Totalt 287 100 % sikre inntjening Prosjektledere har i stor grad samme insentivstruktur som rådgiverne. I de fleste prosjektene kan prosjektleder være rådgiver for noen bedrifter, i tillegg til å fylle prosjektlederrollen. Også her vil det derfor både være insentiver til å rekruttere så mange bedrifter som mulig, og samtidig være insentiver til å Kilde: Spørreundersøkelsen Note: N = 287 rekruttere de riktige bedriftene. Prosjektlederen har imidlertid i tillegg et insentiv til å Flere av årsakene til at rådgiver ble byttet kan ikke sette seg opp som rådgiver for så mange bedrifter egentlig prosjektleder gjøre noe med. som mulig – på bakgrunn av inntjeningsmuligheten. I det at prosjektleder er i en maktposisjon, og er den som beslutter hvilke rådgivere som brukes hvor, så TABELL 6.3 Hvorfor byttet du rådgiver underveis er det muligheter for selv sette seg opp som rådgi- Antall Prosent 11 39.3 % 5 17.9 % 5 17.9 % Vi hadde dårlig kjemi 3 10.7 % Annet (vennligst spesifiser) 4 14.3 % Totalt 28 100 % ver, i stedet for å la andre rådgivere slippe til. Dessuten er prosjektleder ofte ansatt i et bedrift rådgiv- Rådgiveren hadde ikke re- ningsfirma kollegaer som kan være sertifisert som levant kompetanse rådgivere. Om prosjektleder sørger for at disse råd- Rådgiveren fulgte oss ikke giverne får være FRAM-rådgivere, sikres framtidige opp inntekter for selskapet. Rådgiveren måtte avslutte Imidlertid vil en rasjonell prosjektleder også være opptatt av at bedriften skal få den hjelpen som trengs. Med tanke på framtidig inntjening vil det ikke være hensiktsmessig å stille som rådgiver der de ikke har kompetansen. programmet av ulike årsaker Evalueringen vår tyder på at bedrifter i liten grad bytter rådgivere underveis, hvilket indikerer at prosjekt- Kilde: Spørreundersøkelsen Note: N = 28 ledere i stor grad gjør jobben sin hva gjelder matching av bedrift og rådgiver. Litt i underkant av 10 pst. av bedriftene byttet rådgiver underveis jf. Tabell 6.2. Insentivstrukturen tydeliggjør viktigheten av Innovasjon Norge som part i FRAM Insentivstrukturen illustrerer behovet for Innovasjon Norge på to måter. For det første er distriktskontorene sentrale i rekrutteringsfasen – for å sikre at det er den riktige målgruppen som får tilbud om å delta. Evalueringen tyder på at det ikke nødvendigvis er EVALUERING AV FRAM | DAMVAD.COM 67 slik at distriktskontoret er like involvert alle steder. til hvordan de skal identifisere relevante bedrifter fra DAMVAD vil imidlertid mene at Innovasjon Norges sin database. De begynner stort sett alltid litt på nytt rolle er svært sentral og forhindrer at FRAM blir til- når et prosjekt skal igangsettes. Dersom det tilrette- bud bedrifter som er utenfor målgruppen. De legges for at saksbehandlere på distriktskontorene distriktskontorene som ble intervjuet i evalueringen kan avmerke bedrifter som har vært i kontakt med var opptatt av at FRAM ikke skulle være helt og hol- dem som en mulig FRAM-deltaker, ville rekrutte- dent konsulentdrevet, men at Innovasjon Norge ringsprosessen kunne effektiviseres- skulle ha et tydelig eierskap. Behov for særlig selektiv rekruttering til For det andre har Innovasjon Norges hovedkontor FRAM Marked en viktig rolle i rekruttering av rådgivere og prosjekt- Et siste poeng når det gjelder rekrutteringsproses- ledere. De må så langt på vei som mulig sikre at sen er at man særlig skal være bevisst på hvilke be- rådgiverkorpset forstår implikasjonene av å være drifter man rekrutterer til FRAM Marked. Dette er et FRAM-rådgiver, og at de skal være Innovasjon Nor- relativt kostbart program, med flere studieturer til ges forlengede arm. Rådgiverkorpset må ha en be- det konkrete markedet. Enkelte intervjuobjekter har vissthet knyttet til at det gjennom FRAM brukes of- påpekt at bedriftene som får mulighet til å delta på fentlige midler, og at man skal ha et markedssvikt dette kanskje bør gjennomgå en enda grundigere perspektiv – ikke kun perspektiv på egen inntjening. kvalifiseringsrunde, og at det er lite hensiktsmessig Rekruttering av rådgivere og prosjektledere er også å bruke ressurser på bedrifter som egentlig ikke har svært viktig med tanke på at det særlig er rådgi- noen sjanse til å slå igjennom i disse markedene. verne som oppfattes som det viktigste elementet i Dette fordrer at bedriftene som får tilbud om FRAM FRAM-programmet av deltakerbedriftene. Marked må være hakket modnere enn bedrifter som Enkelte respondenter har uttrykt at det hadde vært får tilbud om FRAM Strategisk ledelse. hensiktsmessig om prosjektledere var tettere involvert i rekruttering av rådgivere, og at disse prosessene derfor ikke bør gjennomføres samtidig. Vår 6.3 Samlingsmateriale krever stadig utvikling oppfatning er at det er fornuftig at rekrutteringen av rådgivere gjøres av en nøytral part. Det bør ikke til- FRAM-programmet har eksistert i mange år, og har rettelegges for at prosjektledere eksempelvis kan utviklet seg over tid. I begynnelsen var programmet rekruttere rådgivere i eget firma til å bli FRAM-råd- mer ensrettet, og man kjørte alle bedrifter igjennom givere; det vil gjøre programmet mer konsulentstyrt samme kursopplegg. Da programmet hadde en mer enn det er i dag. Imidlertid kan det antakelig tilrette- ensrettet form, hadde Innovasjon Norge en rolle i å legges for at prosjektledere i større grad gir råd til utvikle materiale til fellessamlingene. Innovasjon Norge om relevante kvalifikasjoner råd- Innovasjon Norge har fortsatt en rolle i å beslutte givere bør ha. hvorvidt det skal være faglige moduler som er vikti- Rekruttering av bedrifter kan muligens effektiviseres Bedrifter til FRAM rekrutteres gjennom kundedata- slutningene er annen kunnskapsinnhenting som Innovasjon Norge gjør over tid. basen til Innovasjon Norge. Gjennom dybdeintervju- Samtidig har FRAM over tid blitt mer fleksibelt med ene med distriktskontorene fikk vi imidlertid inntrykk tanke på innhold og tilpasning. Rollen Innovasjon av at kontorene sjelden har en systematisk inngang 68 gere enn andre i FRAM. Bakgrunnen for disse be- EVALUERING AV FRAM | DAMVAD.COM Norge har hatt med å utvikle fellesmateriale blir så- Det er lite effektivt om Innovasjon Norge parallelt ledes mindre og mindre viktig slik vi ser det. For det med prosjektledere skal holde seg oppdatert på alt første er noe av begrunnelsen for å engasjere pro- relevant faglig innhold en slik samling kan inne- sjektledere til å styre fellessamlingene at det er de holde. Dette betyr ikke at det faglige innholdet ikke som har spisskompetanse på bedriftsutvikling. Selv må oppdateres og utvikles, men det betyr at pro- om Innovasjon Norge har oversikt over de store ut- sjektlederne bør ha en særlig rolle i dette arbeidet. fordringene for bedrifter i landet – generelt sett, er det noe annet å skulle møte de konkrete utfordringene til de bedriftene som deltar i FRAM til enhver tid. Vi vil nok mene at man bør begrense mengden av obligatoriske emner i FRAM-programmet, og heller fortsette linja med fleksibilitet og tilpasning. Selv om det er noen ulemper ved en fleksibel inngang til FRAM-programmet, tror vi at fordelene veier opp for disse. Økt fleksibilitet og tilpasning vil bidra til at man Slik vi ser det bør Innovasjon Norge heller bruke sine ressurser til å tilrettelegge på systemsiden, og bruke tiden sin på å sørge for informasjonsdeling og spredning mellom prosjektledere og rådgivere. Innovasjon Norge gjør noe av dette i dag, bl.a. gjennom felles facebookside og dropbox-system, men vi mener at delingssystemer bør systematiseres og oppdateres ytterligere. kan nå ut til flere bedrifter i målgruppen. FIGUR 6.4 Gitt at du vet det du vet i dag, ville du deltatt igjen? Kilde: Spørreundersøkelsen, Noe: N=270 EVALUERING AV FRAM | DAMVAD.COM 69 6.4 Endringer i programmet i 2008 og i 2012 Evaluering for utvikling av programmet FRAM programmet hadde en endring i rekruttering FRAM-programmet er gjenstand for flere typer eva- av prosjektledere og rådgivere i 2008. Tidligere ble lueringer. Deltakerbedriftene evaluerer hver sam- rådgivere og prosjektledere rekruttert internt, det vil ling de er med på, i tillegg til at de svarer på en slut- si at eksisterende prosjektledere og rådgivere fant tevaluering. Det er Innovasjon Norge som har laget nye kandidater. I praksis førte dette til at det var en maler og systemene for evalueringer. Prosjektle- smal gruppe som ble rekruttert; hovedsakelig er- derne må tilpasse disse noe, slik at de samsvarer farne mannlige siviløkonomer eller sivilingeniører med faktisk opplegg. med bakgrunn som bedriftsledere. Formålet med underveisevalueringene er at pro- Fra 2008 ble det gjort en offentlig utlysning av sjektleder får tilbakemelding på hva slags opplegg FRAM-konsulenter og der ble det åpnet opp for ved samlingene som fungerte bra og mindre bra. også annen relevant utdanning. Erfaring med råd- Således er dette et verktøy for å tilpasse sam- givning, prosjektledelse og prosess ble vektlagt, i til- lingene underveis. Sluttevalueringene er det imid- legg til personlig egnethet og samarbeidsevner. I lertid vanskeligere å få grep om hensikten med. praksis førte dette til en mer mangfoldig gruppe, Både bedrifter og rådgiverkorpset har stilt spørsmål med større aldersspenn og flere kvinnelige prosjekt- ved dette, og hovedkontoret selv har også indikert ledere og rådgivere. Dette ble videreført videre i re- at materialet er for lite tilgjengelig til at det gir noen krutteringen i 2012. I FRAM Marked/Navigator ble nytte – selv for evaluatorer. det fra 2009 et sterkere fokus på erfaring med internasjonalisering. Etter vår vurdering bør det gjøres en gjennomgang av hva som er nødvendig å evaluere på hvilke tids- Det er relativt få respondenter i vår spørreundersø- punkt, for å forhindre unødig ressursbruk både av kelse som deltok før 2008, men disse er gjennom- Innovasjon Norges hovedkontor, av rådgiverkorpset gående noe mer positive til rådgiverne og sam- og av deltakerbedriftene som allerede svarer på lingene enn de som deltok i 2008-2011, men om- svært mange undersøkelser. Underveisevalue- trent like positive enn de som deltok fra og med ringene ser ut til å tjene en svært nyttig funksjon, 2012. Dette gjenspeiles også i spørsmål om bedrif- men sluttevalueringen kan man enten kutte ut eller tene ville deltatt igjen, gitt det de vet i dag, jf Figur forsøke å rendyrke til at den gir relevant informa- 6.4. Forskjellen mellom de tre gruppene er minimale sjon. I anbefalingskapittelet kommer vi med noen og kan skyldes ulik mengde svar og hvor lenge det konkrete forslag til hvordan evalueringssystemet er siden de deltok. Kun 26 respondenter deltok i kan utvikles for å gi mer nytteverdi og mindre rap- 2007, 136 deltok i perioden 2008 til og med 2011 og portering. 116 deltok i perioden 2012 til 2013. Vi tolker det som at endringene i programmet ikke har hatt store konsekvenser for bedriftene som har deltatt. 70 6.5 EVALUERING AV FRAM | DAMVAD.COM 6.6 Samfunnsøkonomisk vurdering av Innovasjon Norge hovedkontor FRAM-programmet Innovasjon Norge distriktskontor Rådgiverapparatet Bedriften selv Det framgår av prosjektbeskrivelsen til Innovasjon Norge at det som del av evalueringen skal gjennomføres en samfunnsøkonomisk vurdering av tjenes- Det kan tenkes flere samfunnskostnader utover ten. Omfanget av en samfunnsøkonomisk analyse disse, eksempelvis miljøkostnader som følge av kan variere, avhengig av hvor mye ressurser man transportering av bedrift til marked i forbindelse med setter inn. Siden vi i dette prosjektet skal gjøre en studieturer, men disse er svært vanskelig å identifi- samfunnsøkonomisk vurdering som del av svært sere, og dessuten er disse kostnadene er marginale mange andre oppgaveelementer, er analysen rela- i forhold til kostnadene til Innovasjon Norge, rådgi- tivt forenklet og inneholder utelukkende de største verapparatet og bedriften selv. kostnadskomponentene og gevinstene. Tabell 6.6 viser kostnadene knyttet til hver enkelt Analysen er for øvrig basert på veilederen fra Fi- aktør og hvordan kostnadene er beregnet per be- nansdepartementet om gjennomføring av sam- drift. Dette er gjennomsnittsbetraktninger, og kost- funnsøkonomiske analyser. Mer konkret er det gjort nadene vil variere mye fra prosjekt til prosjekt. Jevnt en nytte- kostnadsanalyse; dvs. en systematisk over er FRAM-Marked mer kostbart, bl.a. på grunn kartlegging av fordeler og ulemper ved et bestemt av utenlandsturer og mer krevende rådgivning. In- tiltak, jf. boks. Boks 6.5. Data til analysen er opplys- tervaller viser usikkerheten. ninger fra Innovasjon Norges hovedkontor samt regnskapsanalysen jf. kapittel 5.8. Kostnader hovedkontoret På Innovasjon Norges hovedkontor arbeides det Kostnadselementer i FRAM Slik vi ser det er de største kostnadene ved å gjen- med å utvikle programmet og tilrettelegge for kunnskapsdeling på tvers av prosjektene. I tillegg har de nomføre FRAM fordelt på flere aktører: BOKS 6.5 Samfunnsøkonomiske analyser At et tiltak er samfunnsøkonomisk lønnsomt innebærer at samfunnet som helhet er villig til å betale minst like mye som tiltaket koster. Det finnes i hovedsak tre typer samfunnsøkonomiske analyser: Nytte- kostnadsanalyse: En systematisk kartlegging av fordeler og ulemper ved et bestemt tiltak. Nyttevirkninger og kostnader verdsettes i kroner så langt det er faglig forsvarlig Kostnadseffektivitetsanalyser: En systematisk verdsetting av kostnader ved ulike alternative tiltak som kan nå samme mål. Kostnadene verdsettes i kroner og man søker å finne den rimeligste måten å nå et gitt mål Kostnads- virkningsanalyse: En kartlegging av kostnader for ulike tiltak som er rettet mot samme problem, men der effektene av tiltakene ikke er helt like. I slike tilfeller kan vi ikke uten videre velge tiltaket med lavest kostnader Kilde: Finansdepartementets veileder for samfunnsøkonomiske analyser EVALUERING AV FRAM | DAMVAD.COM 71 en særskilt rolle når rekruttering av rådgiverappara- betale reise og opphold i forbindelse med deltakelse tet gjennomføres. Kostnadene vil således variere i FRAM, i tillegg til deltakeravgift. Denne vil også va- fra år til år. Den beste indikasjonen vi har på kost- riere med utgangspunkt i hvor mange samlinger be- nader fra hovedkontorets side er årsverk forbundet driften faktisk deltar på og hvor reisen går. I de fleste med å følge opp programmet. I henhold til Innova- FRAM prosjektene er det minimum en utenlands- sjon Norge utgjør dett 1,2 årsverk i året – i gjennom- reise. I FRAM Marked er flere reiser til markedet. snitt. Den største kostnaden til bedriften er imidlertid tiden Kostnader distriktskontoret som avsettes til å følge opp FRAM-prosessen. På distriktskontorene er det også avsatt ressurser til Dette er tid som alternativt kunne vært brukt for å å følge opp programmet. Her er det imidlertid ikke skaffe bedriften inntjening på ulike måter. satt av en enkeltperson på heltid. Det er en person som er FRAM-koordinator og således har et større ansvar, og det er denne kostnaden som er den primære. Personen har imidlertid ikke FRAM-prosjekter som sin eneste oppgave, slik at gjennomsnittlig årsverk benyttet på FRAM utgjør ca. 0,3 i året per distriktskontor (5 årsverk totalt). Her er der også viktig å påpeke at dette gjelder for de fylkeskommunene der distriktskontoret følger opp FRAM. Det er ikke slik i alle fylker. Kostnader rådgiverkorpset Prosjektleder får i ansvar for å følge et budsjett som er avsatt til FRAM. Dette budsjettet inneholder flere kostnadskomponenter: Honorar til prosjektleder Honorar til rådgivere Div. kostander i forbindelse med samlingene og andre mindre kostnader Hvor mye midler som er avsatt til et FRAM-prosjekt avhenger av om det er FRAM Strategisk ledelse, FRAM Marked eller FRAM Innovasjon, men budsjettet utgjør mellom 1 mill. kroner og 2,5 mill. kroner. Kostnader bedrift Bedrifter må betale egenandel for å delta på FRAM. Denne varierer mellom 20 000 og 80 000. Her kan de ulike distriktskontorene gjøre vurderingen, så variasjonene kan være store. Bedriftene må i tillegg 72 EVALUERING AV FRAM | DAMVAD.COM TABELL 6.6 Beregning av samfunnsøkonomiske kostnader Indikator Beregning Innovasjon Norge hovedkontor Årsverk Innovasjon Norge distriktskontor Årsverk 1,2 årsverk, fordelt på i snitt 188 bedrifter i året. Et årsverk utgjør omtrent 550 000 kroner, i tillegg kommer sosiale kostnader på 30 pst. og påslag som følge av kostnader forbundet med skatteinnkreving siden dette er offentlige utgifter (20 pst). 5 årsverk, fordelt på ca. 118 bedrifter i året. Rådgiverapparatet Budsjett Bedrift Egenandel Mellom 1 mill. kroner og 2,5 mill. kroner per prosjekt. I tidsperioden har det vært i snitt 19 prosjekter i året og i snitt 188 bedrifter i året. Sosiale kostnader tilkommer ikke siden dette er prosjektkostnader. Imidlertid tilkommer påslag som følge av offentlige midler. Mellom ca. 20 000 og 80 000 kroner i egenandel. Bedrift Reise og opphold Bedrift Egen tid Totalt Kostnad Kostnad per bedrift per bedrift (min.) (maks.) 5 500 5 500 22 800 22 800 120 000 300 000 20 000 80 000 Reise og opphold er stipulert til mellom 20 000 og 50 000 kroner. 20 000 50 000 Mellom 40 til 120 rådgivningstimer, i tillegg til fire til seks samlinger over to dager à 8 timer + eget arbeid. Anslår mellom 150 og 250 timer (avhengig av egen innsats) Gjennomsnittlig årslønn er 550 000 jf. det tekniske beregningsutvalget. Sosiale kostnader utgjør 30 pst. Et årsverk utgjør 1750 timer, slik at timeprisen er ca. 410 kroner, inkludert sosiale kostnader. 61 500 102 500 249 800 560 800 Kilde: DAMVAD EVALUERING AV FRAM | DAMVAD.COM 73 Er FRAM samfunnsøkonomisk lønn- Et annet forbehold er knyttet til at det vi er usikre på somt? hvor lang tid det tar før økonomiske resultater av På bakgrunn av markedssviktdiskusjonen i kapittel FRAM synes i regnskapet. Med utgangspunkt i at 4.2, framkommer det at svikten primært er knyttet til datamaterialet har sine begrensninger, skal resulta- at bedriftene står overfor en situasjon med asym- tene tolkes med forsiktighet. metrisk informasjon. Bedriftene har et behov for kunnskapsøkning og atferdsendringer for å kunne drive mer lønnsomt, men de forstår ikke nødvendigvis hva slags behov de har. spørsmål om det er noen nytteeffekter eller gevinster av FRAM i tillegg til bedriftsøkonomisk lønnsomhet. Eksempelvis det at bedriftsledere får økt kunn- Det synes ikke å være særlig grad av eksternaliteter skap kan være en nytte i seg selv, særlig i et livs- i form av kunnskapslekkasjer, som medvirkende år- langt læringsperspektiv. Mulig kunnskapen den en- sak til underinvesteringen i kompetanse. Dette leder kelte bedriftseier har tilegnet seg kommer til nytte i til konklusjonen om at gevinsten man leter etter ved en annen bedrift på et senere tidspunkt. Denne ty- FRAM i hovedsak økt lønnsomhet eller lønnsevne pen nytte har vi ikke kvantifisert, for det må en grun- (verdiskaping) i bedriftene som har deltatt. digere analyse til for å kunne gjøre slike vurde- Gjennomgangen av regnskapsstatistikken indikerer for øvrig at det er vanskelig å spore konkrete effekter av FRAM-programmet. Bedriftene som har deltatt i FRAM utvikler seg i takt med bedrifter som ikke har deltatt i FRAM og som FRAM-bedriften kan sammenlikne seg med. Vi kan derfor ikke dokumentere at FRAM bidrar til økt lønnsomhet. Resultatene av effektundersøkelsen er i tråd med det vi har funnet i spørreundersøkelsen om økonomiske resultater. Det er kun 20 pst. av de deltakende bedriftene som mener at programmet i stor grad har bidratt til økt lønnsomhet. Selv om kostnadene ved FRAM, per bedrift, ikke nødvendigvis er spesielt høye, indikerer disse resultatene at FRAM har lav samfunnsøkonomisk nytte. Det må knyttes en del forbehold til denne konklusjonen. Et forbehold er at det å gjøre en kontrafaktisk vurdering av et offentlig virkemiddel byr på svært mange usikkerheter. Selv om vi i bruk av metoden propensity score matching forsøker å kontrollere for disse, står vi fortsatt overfor den situasjonen at vi ikke vet med sikkerhet hva som ville skjedd med bedriftene uten FRAM. 74 Et siste viktig punkt er at man alltid vil kunne stille EVALUERING AV FRAM | DAMVAD.COM ringer. 7 Oppsummering og anbefalinger 7.1 Oppsummering uansett er gode argumenter for å beholde fleksibiliteten. En av begrunnelsene er at man da når ut til Evalueringen tyder på at bedriftene som deltar i flere. Dessuten er det flere tilbydere av «ferdige» FRAM styrker sin kompetanse på områder som er kompetansepakker på det private markedet som det relevante for dem. Hovedfunnet fra evalueringen er er unødvendig at en offentlig virkemiddelaktør kon- at FRAM i stor grad bidrar til økt kunnskap, primært kurrerer med. innenfor profesjonalisering, i noe mindre grad (men Avslutningsvis kan vi trekke fram at evalueringssys- i økende grad) innen markedsorientering og i enda temet for FRAM er svært omfattende – og likevel lite mindre (men i økende grad) innen innovasjon. tilgjengelig for eksterne. Vi har derfor noen konkrete Kunnskapen leder i stor grad til atferdsendringer, anbefalinger til hvordan evaluering kan gjennomfø- særlig innen profesjonalisering, men i relativt liten res – slik at neste evaluering av FRAM blir mer frukt- grad til konkrete resultater og effekter. bar. Bedriftene som har deltatt opplever selv stor nytteverdi, men det er vanskelig å spore konkrete effekter av programmet på i regnskapsstatistikk. Med 7.2 Anbefalinger andre ord er sammenhengen mellom deltakelse og kompetansebygging sterk, men sammenhengen mellom kompetanse og resultater er noe svakere. I beskrivelser av FRAM framkommer det at programmet har tre bein; samlinger, rådgivning og nettverk. Evalueringen tyder på at nettverket er mindre relevant for deltakerne. Deltakerne opplever at det er positivt å møte andre bedrifter på samlinger, for å utveksle erfaringer, men programmet er ikke et nettverksprogram på den måten at bedriftene i etterkant av deltakelse på FRAM videreutvikler nettverk med de andre deltakerne. 1. Omtal de tre beina i FRAM som faglig påfyll, individuell bedriftsrådgivning og erfaringsutveksling. FRAM er ikke et nettverksprogram, og en for sterk vektlegging av dette kan gi feil assosiasjoner til hva FRAM er og hva det skal bidra med. Nettverk er i beste fall en bieffekt av erfaringsutveksling. 2. Krev trepartsamarbeid i rekrutteringsfasen av bedrifter. Distriktskontoret må være involvert. Vi finner det mer nærliggende å beskrive de tre Distriktskontoret er sentrale for å sikre kvalifisering beina som: faglig påfyll, erfaringsutveksling og indi- av bedriftene som skal delta. FRAM-programmet viduell rådgivning. Å vektlegge «nettverk» blir etter skal balansere hårfint og identifisere bedrifter som vår mening uheldig, fordi programmet ikke er innret- har et behov for kompetanse for å drive mer lønn- tet mot å tilrettelegge for økt nettverkssamarbeid, somt, men som ikke helt vet hva slags behov de har. som eksempelvis ARENA-programmet og bedrifts- I forbindelse med rekruttering av bedrifter kan man nettverk. En tydeligere begrepsbruk vil bidra til å let- også undersøke om det kan gjøres noen grep for å tere forstå forskjeller mellom nettverksprogram og raskere identifisere en aktuell målgruppe for FRAM. program som dette som primært omhandler den en- Eksempelvis kan saksbehandlere i Innovasjon kelte bedriften. Norge merke av potensielle FRAM deltakere blant Økt fleksibilitet i FRAM-programmet bidrar til at rekruttering er vanskeligere, siden målgruppen blir bedriftene de har ansvar for. Det er også mulig det bør gjøres noen grundigere vurderinger knyttet til større og mer heterogen. Vi mener imidlertid at det EVALUERING AV FRAM | DAMVAD.COM 75 kvalifikasjonene til bedrifter som får anledning til å Bedriftene kan bes om å gjennomføre en kort eva- delta på FRAM Marked. luering av undervisningsformene og kvaliteten på formidlingen etter hver samling, 3. Behold fleksibiliteten i FRAM. Selv om det er noen ulemper ved en fleksibel inngang til FRAM-programmet, tror vi at fordelene veier opp for disse. Den største fordelen med fleksibilitet er at man når ut til flere bedrifter med en slik innretning. I den grad man skal opprettholde noen faste moduler, kan man vurdere en bredere inngang til markedsorientering og sikre at denne også ivaretar konkurrentanalyse. Etter gjennomføring av FRAM kan bedriftene svare på de samme spørsmålene om kunnskapsnivå innen konkrete temaer – på denne måten får Innovasjon Norge en før og etter evaluering som vil gi informasjon om FRAM har vært godt nok tilpasset den enkelte bedrift. Denne informasjonen bør så samles på ett sted – slik at framtidige evaluatorer får enkel tilgang til informasjonen. Etter FRAM kan bedriftene også svare på spørsmål knyttet til hvor gode rådgiverne og prosjektlederne 4. Hovedkontoret bør vri ressursbruken over på har vært, slik at IN får innspill til kvaliteter som er systemer for informasjonsdeling mellom de inn- viktige, slik at de i neste omgang får rekruttert «rik- leide konsulentene, framfor å holde seg faglig tige» rådgivere og prosjektledere. Prosjektledere oppdatert. bør også få lov til å evaluere rådgivere, og rådgivere bør få lov til å evaluere prosjektledere. Som en følge av økt fleksibilitet i FRAM når det gjelder faglig innhold vil det være svært tidskrevende for hovedkontoret å skulle holde seg oppdatert og utvikle fagstoff til samlingene. Dette arbeidet burde kunne overføres til prosjektledere, og så kunne Innovasjon Norge i større grad tilrettelegge for erfaringsutveksling mellom prosjektledere. 5. Innhent data om FRAM-programmet mer systematisk, og tilrettelegg i større grad for at dataen er tilgjengelig for evaluatorer. Se også avsnitt 7.3 7.3 Forslag til evalueringssystem Situasjonsanalysen gir innblikk i hva slags kompetansepåfyll bedriften trenger. Dette gir kunnskap om hva slags faglig innhold som bør gjennomgås på samlinger. I denne forbindelse kan bedriftene også evt. svare på spørsmål om kunnskapsnivå innen konkrete temaer. 76 EVALUERING AV FRAM | DAMVAD.COM Referanser Kotler, P, Gary Armstrong, Veronica Wong, John Saunders (2008): Principles of Marketing. Fifth edition, Pearson Education Limited Bolkesjø m.fl.(2005): Evaluering av FRAM og iVEL 1997-2005. Telemarksforskning-Bø. Arbeidsrapport nr. 1-2007. Kirkpatrick, D.l. (2006): Evaluating Training Programs (3rd ed). San Fransisco. CA: Berrett-Koehler publishers Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler? SNF. Arbeidsnotat 03/12. EVALUERING AV FRAM | DAMVAD.COM 77 Vedlegg 1 Kompetanseområder i FRAM Kompetanseområder i FRAM-programmet BS Fagområder Først 1. Osterwalder 2. Situasjonsanalysen BS 1 1. 2. 3. 4. 5. 6. 7. 8. BS 2 9. 10. 1. 2. 3. 4. BS 3 BS 4 BS 5 BS 6 Valgfritt 78 Innledning – diverse Deltakerne presenterer seg FRAM presentasjon Ledelse og endringsprosesser Nøkkelressurser Verdikjeder Marked, behov og produkter Innovasjon, introduksjon til innovasjonsprosjekt Veivalgsanalyse Forretningsplan Økonomi og økonomistyring Innovasjon Markedsorientering, merkevarebygging og design Egen organisering 1. Styrefunksjon 2. Vurdere mennesker 3. Adferd 4. Markedsplanlegging 5. Valgfrie tema 1. Leder – og organisasjonsutvikling 2. Delegering og målstyring 3. Salg 4. Valgfrie tema 1. Internasjonalisering 2. Kompetanseutvikling 3. Valgfrie tema 1. Bedriftenes samfunnsansvar 2. Sluttrapportering 3. Suksessbedrifter 4. FRAM –framover (Forsterk, forny forkast) 5. Valgfrie tema Samarbeid og nettverk Ansettelser Sosiale media Immaterielle rettighe Økonomi og økonomiter styring Røde og grønne kro Vertskapsrollen ner? Innovasjon Norges Nettverk produkter og tjenester Organisering av egen Innovasjonsdukene arbeidsdag med film Organisasjon og sel Kreativitet skapsformer Prospekt Praktisk økonomi Hvordan skape vekst EVALUERING AV FRAM | DAMVAD.COM Skjema Annet materiell Osterwalderskjema Situasjonsanalyseskjema Forretningsplan Handlingsplan Kjøpekriterier Innovasjonsfilm Innovasjons-duker Innovasjonsfilm Film: den rotete sjefen Innovasjons-duker Styrefunksjon Markedsføringssammendrag Markedsplan Ansvarsmatrise Kompetansekartlegging Samfunnsansvar CSRspill Film: røde og grønne kroner Dialogbilder Samspill Vedlegg 2 Propensity Score Matching – metode Formålet med propensity score matching er å ana- deltatt. Ved å sammenligne de deltagende virksom- lysere effektene av deltakelse i FRAM-programmet. hetene med kontrollgruppen vil dermed eventuelle Optimalt ville dette blitt gjort ved å måle utfallet forskjeller mellom de to gruppene, etter deltagelse, (f.eks. omsetning) etter deltagelse, og sammenlig- kunne tilskrives selve deltagelsen. Denne fram- net dette med det utfallet vi hadde observert dersom gangsmåten har flere fordeler. virksomheten ikke hadde deltatt i FRAM-programmet. Dette er naturligvis ikke mulig, da virksomhe- For det første tillater den å inkludere både virksom- ten enten deltar eller ikke deltar. For å få et bilde av heter som faktisk har deltatt i FRAM-programmet og den kontrafaktiske situasjonen må vi derfor benytte virksomheter som ikke har deltatt. Med en «vanlig» andre metoder. regresjonstilnærming må man anta at de ikke-deltagende virksomhetene har de samme karakteristika Vi har i denne evalueringen benyttet oss av økono- som de deltagende virksomhetene i tolkningen av metriske metoder som både brukes i akademisk resultatene. Alternativt må man utelukke de som forskning, og som trekkes fram av internasjonale or- ikke har deltatt i FRAM-programmet, eller ved hjelp ganisasjoner som «best practice» når det er snakk av instrumentvariable (IV-estimering)19 utelukke for- om effektmåling av offentlige intervensjoner. 18 skjeller som kan forklarer avgjørelsen om å delta i et program, og kjennetegn ved virksomheten som For å kunne estimere effekten (verdien) av å delta i påvirker dens økonomiske utvikling. FRAM-programmet har vi gjennomført følgende: Den andre fordelen med å konstruere et eksperi1. Estimert en «propensity score»: Finn ment med en kontrafaktisk situasjon er at denne sannsynligheten for at en virksomhet deltar metoden tar høyde for potensiell forventningsskjev- i FRAM-programmet, gitt en rekke obser- het. Det vil si, det tas høyde for at sannsynligheten verbare faktorer 2. «Propensity score matching»: Isolere ef- for deltagelse er høyere blant noen virksomheter fekten av deltagelse, og dermed konstruere sjonsmodellen. Sammenligningen av de virksomhe- det kontrafaktiske utfallet, ved å definere en tene som har deltatt i FRAM-programmet med kontrollgruppe 3. «Difference-in-differences-analyse»: Es- andre virksomheter i samme næring (se avsnitt 5.8) timere effekten av deltagelse ved å se på grammet i snitt er relativt like de som ikke har deltatt forskjellen i utfallet for de to gruppene (del- med tanke på verdiskaping. Det vil derimot være tagende og ikke-deltagende (kontrollgrup- andre faktorer som kan bestemme hvorvidt en virk- pen) foretak) somhet deltar i FRAM-programmet eller ikke, for ek- enn andre, noe som forårsaker endogenitet i regre- viser at virksomhetene som har deltatt i FRAM-pro- sempel om virksomheten har deltatt i andre proKontrollgruppen består av virksomheter som ikke grammer i regi av Innovasjon Norge eller i det øvrige har deltatt i FRAM-programmet, men som har tilsvarende karakteristika som de virksomhetene som har 18 Se bl.a. OECD (2006), Eurostat (2002), Gertler et.al (2011) og Fernandez-Ribas & Shapira (2009) 19 Estimering med instrumentvariable gir en alternativ måte å konstruere den kontrafaktiske situasjonen på, men denne metoden reduserer presisjonen på estimatene og skaper usikkerhet når tilnærmingens antakelser ikke lar seg teste (Bounds, 2004) EVALUERING AV FRAM | DAMVAD.COM 79 virkemiddelapparatet, eller om personer i virksom- fallet konstrueres ved å finne en virksomhet som lig- heten kjenner til rådgivere eller prosjektledere i ner på de deltagende virksomhetene, men som ikke FRAM-systemet. har deltatt i FRAM-programmet. En tredje fordel er at metoden tillater oss å under- Gitt at to (eller flere) virksomheter ligner på hver- søke kausaliteten (se Rosenbaum og Rubin 1983). Metoden gir en mulighet for å analysere utviklingen andre med tanke på observerbare variable vil den estimerte sannsynligheten – propensity scoren – for før og etter at en hendelse har inntruffet. Dette gjør deltagelse være svært lik for disse virksomhetene. det mulig å sammenligne virksomheter før og etter Vi har i denne evalueringen estimert sannsynlighe- deres første deltagelse i FRAM-programmet, og på ten for å delta i FRAM-programmet ved hjelp av en denne måten få en oversikt over hvordan deltagelse probitmodell. i FRAM-programmet påvirker utviklingen i verdiskapingen. Det kreves et visst antall observasjoner for å sikre at analysen produserer solide og gyldige resultater Figur 1 illustrerer tanken bak konstruksjon av det (Shadish et al. 2002). Dette er en potensiell ulempe kontrafaktiske utfallet: Kontrollgruppens utvikling et- med denne metoden. Man må også stille seg spørs- ter deltagelse illustrerer den utviklingen vi ville ob- målet om spesifiseringen av den kontrafaktiske si- servert for foretakene som har deltatt i FRAM-pro- tuasjonen tar høyde for alle uobserverbare forskjel- grammet dersom de ikke hadde deltatt. ler. Faktorer som kan forklare beslutningen om å delta i FRAM-programmet, men som ikke kan ob- FIGUR 1 Illustrasjon av metoden for effektmålingen Gjennomsnittlig effekt serveres, kan per definisjon ikke inkluderes i spesifiseringen. Det krever forsiktighet i spesifikasjonen av modellen for å taklet disse utfordringene. Data må være av svært god kvalitet, og fortrinnsvis basert på offisielle datakilder, fremfor data innhentet av den som utfører forskningen (evalueringen). Dette er for å unngå skjevhet i de grunnleggende dataene. For å imøtekomme disse bekymringene har vi i denne evalue- t = -1 t=0 t=1 t=2 År etter deltagelse Deltagere Kontrollgruppe Kilde: DAMVAD 2014 ringen benyttet data fra Enhetsregisteret (som er en del av Brønnøysundsregistrene, som samler inn lovpålagt informasjon fra regnskapspliktige virksomheter registrert i Norge), kombinert med data fra Innovasjon Norge. Begge datakildene inneholder A. Estimere en «propensity score» data på virksomhetsnivå. Siden en virksomhet ikke kan være både deltager Fordelen med en analyse på virksomhetsnivå er at og ikke-deltager samtidig, må det kontrafaktiske ut- den gjør oss i stand til å kontrollere for flere forklarende faktorer, som potensielt har innvirkning både på sannsynligheten for å delta i FRAM-programmet, 80 EVALUERING AV FRAM | DAMVAD.COM så vel som endringer i effektvariabelen (den varia- naboene (nearest neighbor matching).20 Metoden belen en ønsker å måle effekten av deltagelse på). hvor de behandlede enhetene sammenlignes med nærmeste nabo innebærer å minimere den abso- Egenskaper som kan forventes delvis å forklare lutte differansen mellom de estimerte sannsynlighe- virksomhetenes beslutning om å delta i FRAM-pro- tene for deltagerne og ikke-deltagerne. Når vi har grammet er størrelsen på virksomheten, dens lønn- sammenlignet hver enkelt deltager med den nær- somhet og finansielle situasjon, næring, geografi og meste naboene, betyr dette at vi har funnet den virk- alder. somheten med likest estimert sannsynlighet. På denne måten etableres en kontrollgruppe som i En oversikt over hvilke variabler som er brukt for å gjennomsnitt er lik gruppen med deltagere. estimere sannsynligheten for deltagelse kan ses i tabell 2. Basert på tilgjengelig data har vi valgt å koble én-tilén, hvor vi i teorien vil finne en kontrollgruppe med B. Propensity Score Matching like mange virksomheter som det er deltagere. Vi har derimot ikke forutsatt at en virksomhet kun kan Etter at sannsynligheten for deltagelse (propensity benyttes som kontrollvirksomhet én gang, slik at scoren) er estimert har vi benyttet «propensity score noen av de ikke-deltagende virksomhetene kan matching (PSM)» for å konstruere den kontrafak- være nærmeste nabo til flere av deltagerne. Kon- tiske situasjonen. Dette innebærer at enheter (virk- trollgruppen kan dermed potensielt bli mindre enn somheter) som har fått en behandling (deltatt i deltagermassen. FRAM-programmet) kobles med en enhet i kontrollgruppen med tilsvarende estimerte sannsynlighet. For å finne kontrollgruppen har vi pålagt at disse Alle enheter som ikke finner en match blir forkastet virksomhetenes estimerte sannsynlighet skal være (Rubin 2001). overlappende med den estimerte sannsynligheten til deltagerne de kobles til. Denne forutsetningen er Denne metoden ble først introdusert av Rosenbaum kjent som «common support». I praksis innebærer og Rubin i 1983 (Rosenbaum og Rubin 1983). Der- dette at deltagere som har fått en estimert sannsyn- etter har metoden blitt utviklet videre av blant andre lighet for deltagelse som er høyere enn maksimu- Heckman (Heckman 1997). Heckman fokuserer på met eller lavere enn minimumet til den estimerte seleksjonsskjevhet og kausalitet i ikke-tilfeldige og sannsynligheten blant ikke-deltagerne slettes. ikke-eksperimentelle tilfeller. Propensity Score Matching adresserer begge disse utfordringene Videre antar vi at forskjellen mellom de som velger (Dehejia og Wahba 2002). å delta i FRAM-programmet og de som ikke deltar fanges opp av observerbare faktorer. Denne forut- Selve koblingen av de behandlede enhetene, med setningen er kjent som «Conditional Independence en enhet med tilsvarende sannsynlighet, kan gjøres Assumption» (CIA). Antagelsen antyder at selek- på flere måter. I denne evalueringen har vi koblet de sjon (beslutningen om å delta) kun er basert på ob- deltagende virksomhetene med de fem nærmeste 20 Det finnes en rekke andre måter å koble enhetene på. For hver tilnærming vil det være en avveining mellom forventningsskjevhet og modellens effektivitet. For en oversikt over ulike tilnærminger og deres fordeler og ulemper, se Caliendo og Kopeinig (2008) EVALUERING AV FRAM | DAMVAD.COM 81 serverbare faktorer og at alle de faktorene som på- mulig å analysere effekten av deltagelse på tvers av virker beslutningen, og mulige utfall, observeres årstall. samtidig. Dette er en streng antagelse, og utelukker Virksomhetene matches for hvert år for å sikre at tilstedeværelse av ikke-observerbare egenskaper kontrollgruppen ligner gruppen av deltagere det året som påvirker beslutningen om å delta i FRAM-pro- (og året før) de deltar i FRAM-programmet. På grammet. denne måten sikrer vi at tidsseriene er sammenlignbare, og det blir mulig å normalisere hver periode Den siste antagelsen i denne evalueringen er anta- for kontrollvirksomhetene på samme måte som for kelsen om «Stable Unit Treatment Value Assump- deltagerne. tion» (SUTVA). Dermed utelukker vi at én virksomhets deltagelse i FRAM-programmet påvirker effekt- Etter at matchingen er gjennomført utføres en enkel variable i virksomheter som ikke har deltatt. Det er test for å analysere kvaliteten på kontrollgruppen. rimelig å anta at det er ingen, eller minimal, «spill Mer presist undersøker vi om deltagergruppen og over» på lønnsomhet, verdiskaping eller andre øko- kontrollgruppen er i balanse med tanke på hver en- nomiske faktorer fra de deltagende virksomhetene kelt kontrollvariabel som ble benyttet i estimeringen til de virksomhetene som ikke har deltatt, tatt tids- av sannsynligheten for å delta (propensity scoren). rammen for evalueringen i betraktning. Tabell 2 presenterer balanseringen av hver enkelt Tidsperspektivet er en viktig faktor når vi skal måle kontrollvariabel før og etter gjennomføringen av effekten av å delta i FRAM-programmet. Utviklingen matchingen. De to kolonnene til venstre viser gjen- i verdiskaping må måles både før og etter delta- nomsnittet for hver variabel i de to gruppene før gelse for å kunne konkludere at effekten skyldes matching. Gjennomsnittene er beregnet for året før prosjektdeltagelsen. Det må også tas høyde for at deltagelse. Vi finner en statistisk signifikant forskjell effekten kan variere over tid. Derfor analyseres ef- for de aller fleste dummyvariablene (på 1 pst. signi- fekten av deltagelse på bakgrunn av paneldata, fikansnivå) mellom de to gruppene. Det er derimot hvor de to gruppene (deltagerne og kontrollgrup- kun antall ansatte som er statistisk forskjellig av de pen) sammenlignes over samme tidsperiode. øvrige kontrollvariablene. Det er ikke et mål i seg selv at de to gruppene er ulike før deltagelse, da For å oppnå et bedre datagrunnlag, og dermed et mer solid grunnlag for effektmålingen, slås årene for målet er at de to gruppene skal være så like som mulig etter matchingen. deltagelse sammen. Dette betyr at for hver enkelt deltager normaliseres oppstartsåret (for prosjektet) til år t. Dermed blir det mulig å analysere effekten av Siden vi kun har oversikt over regnskapspliktige å ha deltatt i FRAM-programmet i år t+1, t+2, t+3 alle FRAM-deltagere. Det er videre grunn til å tro at osv. For en virksomhet som deltok i FRAM-programmet første gang i 2007 fastsettes år t dermed det hovedsakelig er små virksomheter innen spesi- til 2007.21 Normalisering av oppstartsåret gjør det nebærer at det faktiske gjennomsnittet for antall an- virksomheter i Enhetsregisteret, finner vi ikke igjen elt jordbruk vi ikke finner regnskapstall på. Dette insatte i deltagergruppen er noe lavere enn det er i 21 For foretak som har deltatt i flere prosjekter er det første året de deltok satt til år t. 82 EVALUERING AV FRAM | DAMVAD.COM den delen av populasjonen som inngår i matchingen. Kolonnene til høyere viser at de signifikante forskjellene mellom gruppene forsvinner etter at kontrollgruppen er etablert, både for gruppene samlet sett og for kontrollvariablene individuelt. Følgelig har matchingen resultert i en passende kontrollgruppe, som er i stand til å simulere den kontrafaktiske situasjonen. C. Estimere effekten av deltagelse Når en valid kontrollgruppe er etablert, og dermed den kontrafaktiske situasjonen, kan effektmålingen gjennomføres. Dette gjøres ved hjelp av en difference-in-differences-analyse.22 En difference-in-differences-modell benyttes for å estimere og avsløre om deltagende og ikke-deltagende virksomheter har ulik utvikling før og etter deltagelse. Da deltagelse i FRAM-programmet er det eneste som skiller de to gruppene, er de forventet å ha samme utvikling før deltagelse. Eventuelle forskjeller i perioden etter deltagelse kan derfor tilskrives deltagelse i FRAM-programmet. Difference-in-differences-estimatoren er gitt ved: 𝐷 𝐾 𝛿 = (𝑌1𝐷 − 𝑌−1 ) − (𝑌1𝐾 − 𝑌−1 ) hvor er effekten av deltagelse og 𝑌𝑡𝑖 angir verdien til 𝑌 i periode 𝑡 for gruppe 𝑖, hvor 𝑖 indikerer deltagerstatus (deltager eller kontrollgruppe). Effekten er beregnet som forskjellen i utviklingen før og etter deltagelse mellom deltager- og kontrollgruppen. Periode -1 angir året før deltagelse, mens periode 1 er året etter deltagelse i FRAM-programmet. 22 Se f.eks. Heckman (1997), Lechner (2001) eller Bandick og Karpaty (2007) for bruken av difference-in-differences. EVALUERING AV FRAM | DAMVAD.COM 83 TABELL 2 Sammenligning av deltager- og kontrollgruppe før og etter matching, året før deltagelse Før matching Etter matching Gjennomsnitt Gjennomsnitt Deltagergruppe Antall ansatte1) 2) Kontrollgruppe Deltagergruppe Kontrollgruppe 18,98 16,169 18,98 17,25 Verdiskaping (mill. kroner)1) 11,29 13,74 11,29 9,34 Omsetning (mill. kroner)1) 29,21 45,48 29,21 35,89 1,52 4,48 1,52 1,66 Bygg- og anlegg (Gruppe 2) **0,07 0,13 0,07 0,07 Faglig og teknisk tjenesteyting (Gruppe 3) 0,13 0,14 0,13 0,12 Forretningsmessig tjenesteyting (Gruppe 4) 0,06 0,04 0,06 0,07 Industri (Gruppe 5) **0,27 0,17 0,27 0,26 Informasjon og kommunikasjon (Gruppe 6) **0,08 0,05 0,08 0,1 Jordbruk, skogbruk, jakt og fiske (Gruppe 7) **0,04 0,01 0,04 0,03 Overnatting og servering (Gruppe 8) **0,12 0,04 0,12 0,14 Varehandel og transport (Gruppe 9) **0,14 0,30 0,14 0,15 Alder4) **0,66 0,28 0,66 0,63 Geografi5) **0,65 0,53 0,65 0,61 384 717906 384 384 Gjeldsgrad (pst.) Næring3) N H0: Deltager- og kontrollgruppen er lik på alle variablene F=34,6756** F=1,1954 Kilde: DAMVAD 2014 Note: Kontrollgruppen kan variere noe avhengig av spesifiseringen av modellen. Dette skyldes at det kan mangle data for noen observasjoner, som dermed blir utelatt hvis observasjonen er nødvendig for analysen. Forskjellen i gjennomsnittene er signifikante på *5 pst. eller **1 pst. signifikansnivå. 1) Log-transformering av disse variablene er benyttet i selve estimeringen av propensity scoren 2) I tillegg til ln(ansatte) er ln(ansatte)2 benyttet i estimeringen av propensity scoren 3) Gjennomsnittsverdien for disse dummy-variablene kan tolkes som andelen virksomheter i hver næring i de to gruppene, f.eks. tilhører 27 pst. avFRAMdeltagerne (som benyttes i analysen) industrinæringer. Næringsgruppen «Annet» (Gruppe 1), utelates fra estimeringen på grunn av kolinearitet. 4) Dummyvariabel for om virksomheten er yngre enn 11 år (maks 10 år) 5) Dummy for om virksomheten befinner seg innenfor det distriktspolitiske virkeområdet 84 EVALUERING AV FRAM | DAMVAD.COM D. Etablere data Tallgrunnlaget for figuren som viser effektmålingen av verdiskaping i kapittel Feil! Fant ikke referanse- Den økonometriske analysen er basert på Enhets- kilden. ble justert for ekstremobservasjoner etter at registeret koblet med Innovasjon Norges deltaker- matchingen var gjennomført. Dette for å justere for lister for FRAM-programmet. at enkeltvirksomheter påvirket utviklingen i stor grad på grunn av relativt få observasjoner. Enhetsregisteret dekker årene 2003-2012, mens deltakerlistene for FRAM-programmet dekker perioden 2007-2013. Det eksisterer mangelfulle registreringer i Enhetsregisteret, noe som er én av flere årsaker til at antall observasjoner varierer fra år til år, og vi får hva vi kaller et «ubalansert» paneldatasett. Virksomheter som ikke opptrer minimum ett år før og ett år etter deltagelse droppes fra datasettet, da disse virksomhetene ikke vil ha forklaringskraft i effektevalueringen. Dette medfører at deltagerne i FRAM-programmet for de to siste årgangene 2012 og 2013 ikke inkluderes i effektmålingen. Kravet til observasjoner før og etter deltagelse sammen med at ikke alle deltagerne er regnskapspliktige reduserer antall deltagere i den økonometriske analysen til 384. Veldig store endringer i en variabel fra ett år til annet kan indikere sammenslåing eller deling av en virksomhet. Et annet alternativ kan være feilregistreringer eller feiltastinger. Slike ekstremobservasjoner («outliers») kan ha en uforholdsmessig stor innvirkning på resultatene. For å unngå denne typen problemer har vi forsøk å fjerne ekstremobservasjoner både før og etter matchingen. Sletting av ekstremobservasjoner23 med bakgrunn i fordelingen av verdiskaping medførte en kraftig reduksjon i antall observasjoner og ingen forbedring i matchingen. 23 Sletting av observasjoner mindre enn det 10. persentil, eller større enn det 90. persentil av fordelingen av de aktuelle variablene EVALUERING AV FRAM | DAMVAD.COM 85 Vedlegg 3 Oversikt over FRAM-deltakernes øvrige virkemiddelbruk Innovasjon Norge De påfølgende tabellene viser hva slags støtte FRAM-bedrifter har fått gjennom Innovasjon Norge Tjeneste før, under og etter FRAM deltakelse. Statistikken er TF-054 Tilskudd 84 på prosjektnivå, men i note framgår det hvor mange P-005 Bygdeutviklingsmidlene 37 bedrifter det dreier seg om. Det følger av statistik- TF-042 Stipend til etablerere 21 ken at bedriftene kan få støtte fra flere typer virke- P-008 Forsknings- og utviklingskontrakter 18 midler, eller flere prosjekter per virkemiddel. Det er flere observasjoner før FRAM deltakelse enn det er P-031 Lokalmatprogrammet 12 TF-040 Risikolån 12 underveis og etter. TF-037 Lavrisikolån 7 TF-999 Ikke definert finansieringstjeneste 7 TR-053 Rådgivning for etablerere (mentor) 7 P-023 Verdiskapingsprogram for reindrift 5 TR-001 Designrådgivning 4 TF-060 - Utviklingsprogram for lokalmat og grønt reiseliv TN-013 Bedriftsnettverk 3 P-010 Innovasjon i reiselivsnæringen 2 P-010 - Innovasjon i reiselivsnæringen 1 P-013 Marint verdiskapingsprogram 1 P-030 Miljøteknologiordningen 1 TF-034 - Garantier 1 TABELL A FRAM-deltakernes støtte i Innovasjon Norge før FRAM Tjeneste Antall 369 TF-054 Tilskudd 157 P-005 Bygdeutviklingsmidlene 141 TF-042 Stipend til etablerere 74 P-031 Lokalmatprogrammet 70 TF-040 Risikolån 59 P-008 Forsknings- og utviklingskontrakter 45 TF-037 Lavrisikolån 30 P-023 Verdiskapingsprogram for reindrift 16 TF-999 Ikke definert finansieringstjeneste 11 P-003 Bioenergiprogrammet 11 P-013 Marint verdiskapingsprogram 7 TR-001 Designrådgivning 4 P-010 Innovasjon i reiselivsnæringen 3 TR-055 International Business 2 P-021 Trebasert Innovasjonsprogram 2 TF-034 Garantier 2 TN-013 Bedriftsnettverk 2 TR-053 Rådgivning for etablerere (mentor) P-022 Utviklingsprogram for grønt reiseliv TR-003 EU-rådgivning Prosjekter totalt Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 442 virksomheter fordelt på 1007 prosjekter. 86 TABELL B FRAM-deltakernes støtte i Innovasjon Norge samtidig med FRAM EVALUERING AV FRAM | DAMVAD.COM 1 1 1007 Prosjekter totalt Antall 3 226 Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 166 virksomheter fordelt på 226 prosjekter I evalueringsperioden har det totalt vært 1247 bedrifter som har deltatt i FRAM. Det er 561 unike bedrifter som har fått støtte gjennom andre prosjekter før eller samtidig som de deltok i FRAM. Dette indikerer at 44 pst. av bedriftene har vært formelt inne i Innovasjon Norge systemet før eller samtidig med deltakelse i FRAM. I tillegg vil det være svært mange bedrifter som har vært i kontakt med Innovasjon Norge, men som ikke nødvendigvis har fått annen prosjektstøtte. TABELL C FRAM-deltakernes støtte i Innovasjon Norge etter FRAM Tjeneste TF-054 Tilskudd P-005 Bygdeutviklingsmidlene TF-040 Risikolån Antall 152 41 27 20 17 16 10 8 6 6 5 5 4 4 2 2 TABELL D FRAM-deltakernes aktivitet i Norges forskningsråd før FRAM Programaktivitet Antall PES-EU - Prosj.etabl.støtte EU(bedrift) 19 PES-EUR - Pros.etabl.støtte Eureka 10 PETROMAKS 7 RENERGI 7 BIA - Brukerstyrt innovasjonsarena 6 FUNN-3 - Tilskudd til ulønnet FoU-innsats 6 IKTIP - Innovasjonsprogrammet IKT 6 MAT - Næringsmidler 6 MATPROG - Norsk mat fra sjø og land 6 PROSBIO 6 BILATNAER 4 EUROSTARS - EUROSTARS 4 VERDIKT 3 FUGE 2 MEDKAP - Næringsutvikling fra med.forsk 2 NAERINGSPH - Nærings-phd 2 P-SAMISK - Program for samisk forskning 2 PROSMAT - Norsk prosess- og materialind 2 PULS - Tjenesteyting,handel,logistikk 2 BIONÆR 1 CLIMIT 1 DEMO2000 1 DIP - Design Pilot 1 EMBA-2 - Teknologi for fornybar energi 1 INT-BILAT - BILAT-ordningen 1 OG - Program for olje og gass 1 PES-EØS - Prosj.etab.støtte EØS-området 1 De neste avsnittene viser hvilke forskningsprogram- PROGIT - Br.styrt FoU i IT/grafisk ind 1 mer og virkemidler FRAM-deltakerne har fått gjen- PROREAL - Profileringsprogr.f.realfagene 1 nom Norges Forskningsråd før, under og etter del- TJ-INFO - Tjenesteyting/infostruktur 1 takelse. Det følger av statistikken at bedriftene kan VM - Vareprod. og materialforedling 1 få støtte fra flere typer virkemidler, eller flere pro- VRI sjekter per virkemiddel. Her er det også flere obser- Totalt P-008 Forsknings- og utviklingskontrakter P-031 Lokalmatprogrammet TF-037 Lavrisikolån TR-053 Rådgivning for etablerere (mentor) TF-042 Stipend til etablerere P-023 Verdiskapingsprogram for reindrift TR-001 Designrådgivning P-030 Miljøteknologiordningen TN-013 Bedriftsnettverk P-003 Bioenergiprogrammet TF-999 Ikke definert finansieringstjeneste TF-034 Garantier TF-060 - Utviklingsprogram for lokalmat og grønt reiseliv P-010 - Innovasjon i reiselivsnæringen P-013 Marint verdiskapingsprogram P-021 Trebasert Innovasjonsprogram TR-055 International Business Prosjekter totalt 1 1 1 1 329 Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 177 virksomheter fordelt på 329 prosjekter Norges Forskningsråd vasjoner før deltakelse enn det er for underveis og etter. 1 115 Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 39 virksomheter fordelt på 115 prosjekter. EVALUERING AV FRAM | DAMVAD.COM 87 TABELL E FRAM-deltakernes aktivitet i Norges forskningsråd samtidig med FRAM Programaktivitet 4 PES-EUR - Pros.etabl.støtte Eureka 4 EUROSTARS - EUROSTARS 1 MAT-SLF - FFL/JA-finansiert prosjekt 1 MVP - Marint verdiskapingsprogram 1 NAERINGSPH - Nærings-phd 1 Totalt 12 Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 10 virksomheter fordelt på 12 prosjekter. TABELL F FRAM-deltakernes aktivitet i Norges forskningsråd etter FRAM PES-EU - Prosj.etabl.støtte EU(bedrift) Antall 10 DEMO2000 2 PETROMAKS 2 EUROSTARS - EUROSTARS 1 NAERINGSPH - Nærings-phd 1 PES-EUR - Pros.etabl.støtte Eureka 1 VERDIKT Sum 1 18 Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 8 virksomheter fordelt på 18 prosjekter. SkatteFUNN Statistikken over SkatteFUNN deltakelse viser bedrifter som har fått innvilget søknad skattefradrag, men ikke nødvendigvis fått fradraget. Det er skatteetaten som har endelig beslutningsmyndighet på faktisk fradrag. 88 EVALUERING AV FRAM | DAMVAD.COM Godkjente prosjekter Antall PES-EU - Prosj.etabl.støtte EU(bedrift) Programaktivitet TABELL G FRAM-bedrifter og SkatteFUNN-prosjekter Før Under Etter Antall virksomheter 556 202 66 53 126 82 Kilde: Samspillsdatabasen (Data fra Norges Forskningsråd) Sørkedalsveien 10A N-0369 Oslo Frederik Langes Gate 20 N-9008 Tromsø Badstuestræde 20 DK-1209 Copenhagen K
© Copyright 2024