1. No category

Julkaisufoorumin tausta, tavoitteet
ja päivitysarviointi
Kansleri Ilkka Niiniluoto
Julkaisufoorumi-seminaari
Helsinki 2.2.2015
TAVOITTEET
• Julkaisufoorumi on tiedeyhteisön toteuttama tieteellisen
julkaisutoiminnan laadunarviointia tukeva järjestelmä,
jonka keskeisiä tavoitteita ovat:
1. Kannustaa tutkijoita suuntaamaan julkaisutoimintaa
korkeatasoisille kansainvälisille ja kansallisille foorumeille.
2. Yhdistettynä OKM-julkaisuaineistoon luokitus tuottaa
tietoa tutkimusorganisaatioiden ja -alojen
julkaisutoiminnasta.
3. Julkaisutoiminnan laatua ilmaiseva indikaattori OKM:n
käyttämässä yliopistojen perusrahoitusmallissa 2015
alkaen.
TAUSTA
• Julkaisut yliopistojen rahoitusperusteena vuodesta 2007,
mutta arviointi perustui määrään, ei laatuun.
• Suomen yliopistojen rehtorien neuvoston työryhmän
suunnitelma laadunarvioinnin kehittämiseksi 2010:
– Viittauksiin perustuva laadunarviointi on vakiintunut luonnon- ja
lääketieteissä, mutta tietokannat kattavat huonosti humanististen
alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta.
– Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisufoorumien
tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan,
sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat.
• Julkaisufoorumi perustettiin 2010 Tieteellisten seurain
valtuuskuntaan OKM:n rahoituksella.
OHJAUSRYHMÄ 2012-2015
• TSV:n hallituksen nimittämä ohjausryhmä vastaa paneelien
asettamisesta sekä arviointityön ohjeistuksesta ja valvonnasta:
Puheenjohtaja:
• Kansleri Ilkka Niiniluoto (TSV)
Jäsenet:
• Professori Risto Heiskala (TaY)
• Sovellussuunnittelija Jyrki Ilva (KK)
• Yksikön johtaja Susan Linko (SA)
• Rehtori Matti Manninen (UNIFI)
• Professori Kaisa Miettinen (JY)
• Professori Tiina Onikki-Rantajääskö (HY)
• Opetusneuvos Olli Poropudas (OKM)
• Kehityspäällikkö Tuija Raaska (CSC)
• Professori Heimo Saarikko (HY)
• Professori Hannu Sariola (HY)
• Professori Timo Tokola (ISY)
• Ylikirjastonh. Kimmo Tuominen (SYN)
Sihteeristö:
• Toiminnanjohtaja Lea RyynänenKarjalainen (TSV)
• Toiminnanjohtaja Leena Treuthardt
(UNIFI)
• Suunnittelija Anna-Sofia Ruth (TSV)
• Suunnittelija Janne Pölönen (TSV)
PANEELIT 2014-2017
• Julkaisufoorumien arvioinnista vastaavat 23
tieteenaloittaista asiantuntijapaneelia.
• Syksyllä 2013 Julkaisufoorumi sai yliopistoilta, valtion
tutkimuslaitoksilta, tieteellisiltä seuroilta ja
tiedeakatemioilta 553 ehdotusta paneelien jäseniksi.
• Paneeleihin nimitettiin yli 200 henkilöä, joista puolet
paneelien jäseninä kaudella 2010-2013 toimineita ja puolet
uusia jäseniä.
• Paneelien arviointityön tueksi tuotetaan bibliometrisiä
indikaattoreita: vaikuttavuuskertoimia (JIF, SJR, SNIP) sekä
Norjan ja Tanskan paneelien vastaavat tasoluokitukset.
JULKAISUFOORUMIN TASOLUOKAT
• Tasoluokkiin 2 ja 3 on hyväksytty rajoitettu joukko
asiantuntijapaneelien korkeatasoisimmiksi ja vaikuttavimmiksi
arvostamia tieteellisiä foorumeita. Pääasiassa kansainvälisiä
julkaisukanavia, mutta ihmistieteissä myös suomen- ja
ruotsinkielisiä foorumeita.
• Tasoluokkaan 1 kuuluu valtaosa tieteellisten tutkimustulosten
julkaisemiseen erikoistuneista ulkomaisista ja kotimaisista
foorumeista, joilla on tieteenalan asiantuntijoista koostuva
toimituskunta ja tieteelliset julkaisut käyvät läpi säännöllisen
vertaisarvioinnin.
• Tasoluokkaan 0 luetteloidaan paneelien arvioimia ulkomaisia ja
kotimaisia foorumeita, jotka eivät täytä tason 1 kriteereitä, sekä
paikallisia tieteellisiä foorumeita (esim. yliopistojen omat sarjat).
PÄIVITTYVÄ JÄRJESTELMÄ
• Ensimmäinen Julkaisufoorumi-luokitus julkaistiin 2012.
• Tähän mennessä arvioitu jo lähes 30 000 kotimaista ja
ulkomaista julkaisukanavaa.
• Tasoluokkaan 1 voidaan vuosittain täydennysarvioinneissa
lisätä uusia tai tasoluokkaan 0 sijoitettuja foorumeita.
• Tasoluokkien 2 ja 3 osalta foorumit arvioidaan uudelleen 4
vuoden välein: ensimmäinen päivitysarviointi toteutettiin
2014.
• Uusi päivitetty luokitus julkaistiin vuoden 2015 alusta, ja
sitä käytetään ensimmäisen kerran julkaisuihin, joiden
julkaisuvuosi on 2015.
JULKAISUFOORUMIN KEHITTÄMINEN
• Luokituksen kehittämisessä on hyödynnetty yliopistojen
OKM:lle raportoimaa julkaisuaineistoa, joka käsittää yli
70000 vuosina 2011–2013 julkaistua vertaisarvioitua
artikkelia ja erillisteosta.
• Vuoden 2012 luokituksessa tason 2 ja 3 saaneet kanavat
kattavat peräti 39 % vertaisarvioiduista julkaisuista.
• Tason 2 ja 3 julkaisujen osuus on luonnon- ja lääketieteissä
huomattavasti muita tieteenaloja suurempi.
• Vuoden 2014 päivitysarvioinnissa tavoite on ollut nostaa
luokituksen vaatimustasoa tasoluokkien 2 ja 3 osalta, sekä
vähentää tieteenalojen välisiä eroja.
VAATIMUSTASON VERTAILU POHJOISMAIHIN
• Vuoden 2012 luokituksessa jokainen paneeli sai luokitella 20 %
lehti- ja sarjanimekkeistään tasolle 2 (ja näistä 25 % tasolle 3).
• Suomessa tasolle 2 on luokiteltu yli 4000 julkaisusarjaa,
Tanskassa n. 3000 ja Norjassa n. 2000.
Julkaisusarjat
Taso 1
Taso 2
Tason 2 osuus
Norja
22 811
2 080
9%
Tanska
21 457
2 984
14 %
Jufo 2012
18 698
4 154
22 %
• Vastaavasti Suomessa tasolle 2 on luokiteltu 126 kirjakustantajaa,
Tanskassa 98 ja Norjassa 89.
• Kaikkiaan vaatimustaso luokan 2 julkaisujen osalta on asetettu
muissa Pohjoismaissa huomattavasti korkeammalle.
TIETEENALOJEN VÄLISET EROT
•
•
Luonnon- ja lääketieteissä julkaisutoiminta keskittyy voimakkaasti suuriin
kansainvälisiin lehtiin, joten 20 % lehti- ja sarjanimekkeistä voi kattaa yli 50 % eräillä
tieteenaloilla tuotetuista suomalaisten yliopistojen julkaisuista.
Eroja myös tasoluokkaan 0 sijoittuvien julkaisujen osuudessa
100 %
75 %
50 %
25 %
0%
-25 %
-50 %
Taso 0
Taso 1
Tasot 2 ja 3
MUUTOKSET ARVIOINTIKRITEEREIHIN
• Vuoden 2015 luokituksessa taso 2 kiintiöitiin Norjan ja Tanskan
mallin mukaisesti lehtien ja sarjojen julkaisuvolyymiin.
– Julkaisuvolyymi = vuosittain ilmestyvien kaikkien suomalaisten ja
ulkomaisten artikkelien lukumäärää (3 vuoden keskiarvo).
• Tasoluokan 2 lehtien ja sarjojen yhteenlaskettu julkaisuvolyymi
sai olla enintään 20 % paneelin luetteloon kuuluvien
julkaisusarjojen yhteenlasketusta artikkelimäärästä (tason 3
lehdet ja sarjat saivat kattaa 25 % tason 2 julkaisuvolyymistä).
– 1000 artikkelia julkaiseva lehti vei tason 2 kiintiöstä kymmenen
kertaa suuremman osan kuin 100 artikkelia julkaiseva lehti.
• Kirjakustantajista noin 10 % voitiin luokitella tasolle 2 (aiemmasta
poiketen 10 % tason 2 kustantajista voitiin luokitella tasolle 3).
LEHTIEN JA SARJOJEN JAKO PANEELIEN KESKEN
Lehdistä ja sarjoista n. 30 % esiintyi usean paneelin luettelossa.
Tanskan ja Norjan mallin mukaisesti julkaisusarjat jaettiin paneelien kesken
Yleistieteellisillä oma ryhmä, jossa 25 lehteä (Nature, Science, PNAS, PlosOne)
Lehtien/sarjojen lukumäärä
•
•
•
2012-luokitus
2500
2000
1500
1000
500
0
2015-luokitus
TASOLUOKAN 2 OSUUS JULKAISUVOLYYMISTÄ
•
•
Tason 2 osuus julkaisuvolyymistä
•
Paneeleille annettiin 1 % joustovara tasoluokan 2 julkaisuvolyymikiintiöön
Lisäksi tasoluokkaan 2 tai 3 luokiteltu lehti, jonka julkaisuvolyymi on suurempi
kuin 2500, kulutti tason 2 kiintiötä vain 2500 julkaisun verran.
Kaikki paneelit toteuttivat luokittelun tason 2 kiintiön puitteissa (21 %)
2012-luokitus
60 %
40 %
20 %
0%
2015-luokitus
TASOLUOKAN 2 OSUUS NIMEKKEISTÄ
•
•
Tason 2 osuus nimekkeistä
•
Vain kahdessa paneelissa (2 ja 9) tasolle 2 voitiin lisätä lehtiä tai sarjoja
Muissa paneeleissa julkaisusarjojen määrää korkeammissa tasoluokissa
jouduttiin vähentämään, joten varaa tasoluokan nostoihin oli niukasti.
Muutos oli suurin luonnon- ja lääketieteen paneeleissa
2012-luokitus
30 %
25 %
20 %
15 %
10 %
5%
0%
2015-luokitus
TULOKSENA KORKEAMPI TAVOITETASO
• Vuoden 2015 luokituksessa tason 2 tai 3 luokituksen on saanut 2 876
julkaisusarjaa (13 %) ja 105 kirjakustantajaa (9 %), eli lähinnä Tanskan
luokitusta vastaava määrä.
• Tasoluokkiin 2 ja 3 sijoittuvien julkaisujen osuus kaikista yliopistojen
vuosina 2011-13 tuottamista vertaisarvioiduista julkaisuista on 28 %, eli
11 % vähemmän kuin käytettäessä vuoden 2012 luokitusta.
KAIKKI
Julkaisufoorumit
Lehdet ja sarjat
Kirjakustantajat
Yliopistojen julkaisutuotanto
Vertaisarvioidut julkaisut
TASO 2
2012
2015
TASO 3
2012
2015
21603
1235
19 %
10 %
13 %
9%
5%
0%
3%
1%
72351
39 %
28 %
12 %
8%
TASAPUOLISEMPI LUOKITUS
•
Tason 2 ja 3 julkaisujen osuus
•
Tason 2 ja 3 julkaisujen osuudessa on edelleen tieteenalojen välisiä eroja, mutta
alustavasti voidaan arvioida että vaihteluväli muodostuu aiempaa pienemmäksi.
Yliopistojen vuosina 2011-13 eri päätieteenaloilla tuottamista julkaisuista
keskimäärin 30 % sijoittuu tasoluokkiin 2 ja 3, poikkeuksena kuitenkin tekniikka.
2012-luokitus
80 %
60 %
40 %
20 %
0%
2015-luokitus
TASOLUOKKA 3
•
•
•
Tieteenalojen välisiä eroja on myös tason 3 julkaisujen osuudessa, mutta vuoden
2015 luokitus tuottaa selvästi entistä tasapuolisemman lopputuloksen.
Ihmistieteissä vaikuttaa myös kirjakustantajien luokittelu tasoluokkaan 3.
Kun luokitus on kiristynyt tason 2 osalta, onko taso 3 tarpeellinen?
Tason 3 julkaisujen osuus
2012-luokitus
40 %
30 %
20 %
10 %
0%
2015-luokitus
SUOMENKIELISET JULKAISUT
•
•
Tasoluokkaan 2 on luokiteltu 22 ihmistieteiden alaan kuuluvaa kotimaista suomentai ruotsinkielistä julkaisusarjaa ja 3 kirjakustantajaa.
Tasoluokkaan 2 sijoittuvien suomenkielisten vertaisarvioitujen artikkelien ja
kirjojen osuus vastaa ihmistieteissä suomenkielisten julkaisujen osuutta kaikista
vertaisarvioiduista julkaisuista.
Suomenkielisten osuus kaikista julkaisuita
60%
40%
20%
0%
Suomenkielisten osuus tason 2 ja 3 julkaisuista
SUURTEN JULKAISUMÄÄRIEN ARVIOINTIIN
•
Suomalaisten 2004-2008 Web of Science -julkaisujen (31343 julkaisua)
viittausanalyysi osoittaa, että tason 2 ja 3 lehdissä ilmestyneet julkaisut
keräävät keskimäärin enemmän viittauksia kuin tason 1 julkaisut (maailman
keskitaso = 1).
Jufo-luokka
2012
Tasot 2 ja 3
Taso 1
•
•
Julkaisuja
18 352
12 992
Viittausindeksi
1,31
0,67
Top10Indeksi
1,43
0,46
Ilman
viittauksia
13,4 %
28,3 %
Suurten julkaisumäärien laatua voidaan karkeasti arvioida tutkijoiden
valitsemien ja saavuttamien julkaisukanavien perusteella. Rahoitusmallissa
tarkastelun kohteena onkin kerrallaan yli 70 000 yliopistojen kolmen vuoden
aikana tuottamaa vertaisarvioitua artikkelia ja kirjaa.
On tärkeätä muistaa, että Julkaisufoorumi-luokitus on liian karkea väline
yksittäisten tutkijoiden julkaisujen arviointiin tai ansioiden vertailuun.
JULKAISUFOORUMIN KATTAVUUS
•
•
Suomalaiset yliopistot ovat raportoineet OKM:lle 72 351 vuosina 2011-2013
julkaistua vertaisarvioitua tieteellistä artikkelia ja kirjaa
Web of Science kattaa vain 52 % (37526) julkaisuista, Julkaisufoorumien
luokitteluun perustuva järjestelmä huomioi kaikki julkaisut
Julkaisujen lukumäärä
Web of Science:ssa
7000
6000
5000
4000
3000
2000
1000
0
Ei Web of Science:ssa
LAATU JA TASAPUOLISUUS
• Päivitetty vuoden 2015 Julkaisufoorumi-luokitus tarjoaa entistä
tasapuolisemmat lähtökohdat yliopistojen ja tieteenalojen
julkaisutoiminnan arviointiin ja kehittämiseen.
• Julkaisufoorumin tavoite on edistää julkaisutoiminnan laatua kaikilla
tieteenaloilla. Eri tieteenaloja ei voida lähtökohtaisesti arvottaa
paremmuus- tai tärkeysjärjestykseen.
• Julkaisutoiminnan arvioinnin ja mittaamisen haaste on ottaa huomioon
tieteenalojen julkaisukäytäntöjen- ja kulttuurien erot:
– Julkaisufoorumit: lehdet, konferenssit ja kirjasarjat/kustantajat
– julkaisukielet: englanti, kotimaiset kielet, muut kielet
– Julkaisutyypit: artikkelit ja monografiat
– Julkaisumäärä: yhteisjulkaisut ja yhden tekijän julkaisut
SEURAAVAKSI
• Ministeriön asettama työryhmä valmistaa vuoden 2015 kuluessa
ehdotuksen vuoden 2017 alusta käytettävästä rahoitusmallista mm.
julkaisut-rahoitustekijän osalta.
• Nykyisen ohjausryhmän toimikausi päättyy vuoden 2015 lopussa.
Syksyllä tieteellisille seuroille ja tiedeakatemioille lähetetään pyyntö
ehdottaa jäseniä Julkaisufoorumin ohjausryhmään kaudelle 2016–2019.
• Nykyiset asiantuntijapaneelit jatkavat toimintaansa vuoden 2017
loppuun, jolloin ohjausryhmä nimittää paneelit kaudelle 2018–2021.
• Seuraavaa 2018 tapahtuvaa päivitysarviointia varten Julkaisufoorumissa
pyritään kehittämään paneelijakoa sekä lehtien ja sarjojen
tieteenalojen määrittelyä niin, että julkaisuvolyymit voidaan kohdentaa
eri tieteen- ja tutkimusaloille nykyistä täsmällisemmin.