1. No category

0,0
Gunnar Sivertsen
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
3,0
2,5
Sweden
2,0
Denmark
1,5
1,0
Finland
0,5
Norway
Innføring i bibliometri
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Pionerer innenfor bibliometri
 Alfred J. Lotka (1880-1949) demonstrated in 1926 that the
productivity differences of authors follow a fixed ratio.
Lotka’s law: 1/na
Pionerer innenfor bibliometri
 Samuel C. Bradford (1878-1948) demonstrated in 1934
the exponentially diminishing returns of extending a search
for references in science journals.
 Bradford’s law of scattering is the basis for the notion of
core journals
Pionerer innenfor bibliometri
 Robert K. Merton (1910-2003)
demonstrated the “Matthew
effect” (accumulated advantage)
in (the sociology of) science by
using bibliometrics
Pionerer innenfor bibliometri
 Derek J. de Solla Price (1922-1983)
demonstrated the exponential growth and
the structure of modern science by partly
using bibliometrics
Pionerer innenfor bibliometri
 Eugene Garfield (b. 1925) launched the Science
Citation Index in 1964 as a tool for information
retrieval, not as a tool for research evaluation
 “Citations are the formal, explicit linkages
between papers that have particular points in
common. A citation index is built around these
linkages.” Citation Indexing, 1979.
Pionerer innenfor bibliometri
 Eugene Garfield (b. 1925) developed the
Journal Impact Factor as a management tool
for libraries (journal selection), not as a tool
for research evaluation
Internasjonale tidsskrifter og konferanser
 Tidsskrifter (viktigste)

Scientometrics

Journal of Informetrics

Journal of the American Association of
Information Science and Technology

Research Policy

Research Evaluation
 Konferanser (viktigste)

ISSI (International Society for
Scientometrics and Infometrics

STI ENID (Science & Technology
Indicators)
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Bibliografiske datakilder brukes vanligvis til å søke og
gjenfinne forskningslitteratur
Publikasjoner
Forskere
som forfattere
Bibliografiske
datakilder
Publikasjoner
Forskere
som lesere
Kan også brukes til å studere den forskningen som
ligger bak publikasjonen
Publikasjoner
Forskere
som forfattere
Bibliografiske
datakilder
Publikasjoner
Forskere
som lesere
I studier av forskning er bibliometri:
Kvantitative studier av forskning som benytter
bibliografiske datakilder
Publikasjoner
Forskere
som forfattere
Bibliografiske
datakilder
Publikasjoner
Forskere
som lesere
Forskning må publiseres. Altså kan forskning studeres
der den «kommer til syne» – i publikasjonene
Publikasjoner
Forskere
som forfattere
Bibliografiske
datakilder
Publikasjoner
Forskere
som lesere
Forskere må oppgi relevante referanser. Altså kan vi
studere i hvilken grad forskning har nytte i videre
forskning.
Publikasjoner
Forskere
som forfattere
Bibliografiske
datakilder
Publikasjoner
Forskere
som lesere
Når flere forskere publiserer sammen, kan vi også
studere forskningssamarbeid
Publikasjoner
Forskere
som forfattere
Publikasjoner
Forskere
som lesere
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Page 19
Google Scholar is of great help to the scientist as reader
but not to the bibliometrician: No control over data and methods
 Journal of Advanced Nursing
 Journal of Clinical Nursing
 Nursing Ethics
 Pflege
 Scandinavian Journal of Caring
Sciences
 Journal of Advanced Nursing
 Journal of Clinical Nursing
 Nursing Ethics
 Pflege
 Scandinavian Journal of Caring
Sciences
 International Journal of Nursing
Studies
 Journal of Advanced Nursing
 Journal of Clinical Nursing
 Nursing Ethics
 Pflege
 Scandinavian Journal of Caring
Sciences
 International Journal of Nursing
Studies
 Vård i Norden
 Nordisk Sygeplejeforskning
Ufullstendig dekning av internasjonale
tidsskrifter.
Books
Veldig begrenset dekning av
vitenskapelige bøker.
Indexed
journals
Tilfeldig eller manglende dekning av
vitenskapelig publisering på
nasjonalspråkene.
Journals
and series
Coverage of 70,500 scholarly publications from the
higher education sector in Norway 2005-2012.
100%
Scopus
Web of Science
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Health
Sciences
Natural
Sciences
Engineering
Social Sciences
Humanities
Referenser importert fra ISI
Web of Science
Egenrapporterte
referanser
Data i en siteringsindeks: 1. Vanlige metadata
Data i en siteringsindeks: 2. Samtlige forfatteradresser!
Data i en siteringsindeks: 3. Klassifisering av fag, språk
og dokumenttype
Data i en siteringsindeks: 4. Hele referanselisten!
Noen referanser kan lenkes til allerede indekserte artikler
Andre referanser kan ikke lenkes
Data i en siteringsindeks: 5. Siteringer fra senere artikler!
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Forfattere og forfatteradresser
Andeler av verdens artikler (ISI Web of Science 2000-2013)
Source: National Science Indicators (NSI), Thomson Reuters
40,0 %
35,0 %
USA
30,0 %
25,0 %
UK
20,0 %
15,0 %
Germany
10,0 %
5,0 %
0,0 %
China
Andeler av verdens artikler (ISI Web of Science 2000-2012)
Source: National Science Indicators (NSI), Thomson Reuters
2,5 %
Sweden
2,0 %
Denmark
1,5 %
1,0 %
Finland
0,5 %
Norway
0,0 %
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012
Artikler pr. 1000 innbyggere (ISI Web of Science 1981-2012)
Source: National Science Indicators (NSI), Thomson Reuters
3,0
Sweden
2,5
2,0
Denmark
1,5
Finland
1,0
0,5
Norway
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
0,0
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
World production in Web of Science 1980-2013
1 600 000
1 400 000
1 200 000
1 000 000
800 000
600 000
400 000
200 000
0
Fordeling av forskningsaktivitet i U&H-sektoren.
Publiseringspoeng 2005-2010
UiO
NTNU
UiB
72 prosent
UiT
UMB
UiS
UiA
8 promille
UiN
9 vit høgskoler
50 høgskoler
0
5000
10000
15000
20000
25000
Fordeling av forskningsaktivitet i U&H-sektoren.
Publiseringspoeng 2005-2010
UiO
NTNU
UiB
72 prosent
UiT
UMB
UiS
UiA
8 promille
UiN
9 vit høgskoler
HiOA: 2,4 prosent
50 høgskoler
0
5000
10000
15000
20000
25000
Basert på 13 630 publikasjoner fra 17 314 forskere i CRIStin
2011 – alle tre sektorer
Figure 1. Age and women's share of Norway's researchers
and their total scientific publication output in 2011
60%
50%
40%
30%
20%
Publications
10%
Researchers
0%
27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67
Age (years)
Page 45
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Data i en siteringsindeks: 3. Klassifisering av fag, språk
og dokumenttype
Web of Science 1989-2012: Artikler fra Norge i
internasjonale tidsskrifter i sykepleievitenskap
180
160
140
120
100
80
60
40
20
0
Universiteter og høgskoler 2005-2010: Vitenskapelig
publisering i sykepleievitenskap
160
140
120
100
80
60
40
20
0
2005
2006
2007
2008
2009
2010
Universiteter og høgskoler 2005-2010:
Vitenskapelig publisering i sykepleievitenskap
Høgskolen i Oslo og Akershus
Universitetet i Oslo
Universitetet i Bergen
Universitetet i Stavanger
Høgskolen i Buskerud
Høgskolen i Bergen
Universitetet i Tromsø
Høgskolen Stord/Haugesund
Høgskolen i Vestfold
Høgskolen i Gjøvik
Lovisenberg diakonale høgskole
Universitetet i Agder
Høgskolen i Hedmark
0
50
100
150
200
Artikler pr. tidsskrift fra norske universiteter og høgskoler
2005-2012: Sykepleievitenskap
Journal of Clinical Nursing
Scandinavian Journal of Caring Sciences
Journal of Advanced Nursing
Vård i Norden
Sykepleien Forskning
Nursing Ethics
Norsk tidsskrift for sykepleieforskning
International Journal of Nursing Studies
Klinisk Sygepleje
Cancer Nursing
Journal of Nursing Management
Nordisk sygeplejeforskning
Scandinavian Journal of Caring Sciences
Nurse Education Today
Nursing Inquiry
Nursing and Health Sciences
International Journal of Older People Nursing
Nursing Philosophy
Journal of Psychiatric and Mental Health Nursing
Intensive & Critical Care Nursing
Nurse Education in Practice
73 andre tidsskrifter
0
100
200
300
Artikler pr. tidsskrift fra norske universiteter og høgskoler
2005-2012: Sykepleievitenskap
Journal of Clinical Nursing
Scandinavian Journal of Caring Sciences
Journal of Advanced Nursing
Vård i Norden
Sykepleien Forskning
Nursing Ethics
Norsk tidsskrift for sykepleieforskning
International Journal of Nursing Studies
Klinisk Sygepleje
Cancer Nursing
Journal of Nursing Management
Nordisk sygeplejeforskning
Scandinavian Journal of Caring Sciences
Nurse Education Today
Nursing Inquiry
Nursing and Health Sciences
International Journal of Older People Nursing
Nursing Philosophy
Journal of Psychiatric and Mental Health Nursing
Intensive & Critical Care Nursing
Nurse Education in Practice
73 andre tidsskrifter
0
100
200
300
Fagprofiler i forskningen ved tre norske universiteter
100 %
90 %
Tekn
80 %
70 %
Nat
60 %
50 %
Helse
40 %
30 %
Sam
20 %
10 %
Hum
0%
NTNU
UiB
UMB
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Data i en siteringsindeks: 5. Siteringer fra senere artikler!
Books
Indexed
journals
Journals
and series
100%
Scopus
ISI Web of Science
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Health
Sciences
Natural
Sciences
Engineering
Social
Sciences
Humanities
Referanseadferd og dekning i Web of Science - eksempler
History
Linguistics
Sociology
Economics
Gastroenterology
41
55
64
31
57
Average age
of cited work
23 years
14 years
13 years
12 years
10 years
References to
journals
17 %
27 %
56 %
74 %
96 %
References to
WoS journals
2%
20 %
50 %
68 %
93 %
Average
citation rate
in field (5 yrs)
0,27
1,69
1,90
2,36
6,78
References
Gjennomsnittlig antall siteringer varierer mellom fagfelt
Nødvendig å sammenligne innen fagfelt, eller å normalisere: dividere
på gjennomsnittet innen vedkommende fagfelt, eller beregne andeler
på tvers
CELL BIOLOGY
NUCLEAR PHYSICS
IMMUNOLOGY
BEHAVIORAL SCIENCES
GEOLOGY
PSYCHOLOGY
ECONOMICS
POLITICAL SCIENCE
MATHEMATICS
LINGUISTICS
PHILOSOPHY
HISTORY
0
10
20
30
Fordelingen av 2193 siteringer t.o.m. 2009 mellom 393 ISI-artikler fra
2007 ved Med Fak, Universitetet i Tromsø
160
140
120
100
80
60
45 artikler (11 prosent)
har mottatt halvparten
av siteringene.
Halvparten av artiklene
er sitert null til to
ganger
40
0
1
10
19
28
37
46
55
64
73
82
91
100
109
118
127
136
145
154
163
172
181
190
199
208
217
226
235
244
253
262
271
280
289
298
307
316
325
334
343
352
361
370
379
388
20
Distribution of citations among articles by one highly cited author
500
450
400
350
300
250
200
150
100
50
0
Distribution of citations among articles by one highly cited author
500
450
400
350
300
Mean = 50,7
250
200
H-index = 49
150
100
50
0
Median = 28
Distribution of citations among articles by one highly cited author
500
450
400
350
300
Mean = 50,7
250
200
H-index = 49
150
100
50
0
Median = 28
Fordelingen av 4845 siteringer mellom 405 artikler publisert siden
1992 i Science, Technology & Human Values
300
250
200
150
40 artikler (10 prosent)
har mottatt halvparten
av siteringene.
Gjennomsnitts-impact
er 10 siteringer.
100
0
405
396
387
381
369
359
354
343
338
330
317
311
301
291
279
259
268
243
252
224
233
200
209
218
181
190
151
160
169
122
131
140
90
99
108
117
62
71
80
89
9
18
27
36
45
50
Fordelingen av 4845 siteringer mellom 405 artikler publisert siden
1992 i Science, Technology & Human Values
300
250
200
150
Journal Impact Factor
100
0
405
396
387
381
369
359
354
343
338
330
317
311
301
291
279
259
268
243
252
224
233
200
209
218
181
190
151
160
169
122
131
140
90
99
108
117
62
71
80
89
9
18
27
36
45
50
Femti grupper i spiss: Eksempel
NTNU
Mest
sitert
forsker
Relatert
gruppe
Kavli-instituttet / Senter for nevrale
nettverk
Edvard I.
Moser
Totalt
antall
artikler
Totalt antall
siteringer
Siteringstall
mest sitert
artikkel
Siteringsindeks
Tema
29
3054
589
3.24
Nevrovitenskap
37
3304
589
3.10
Nevrovitenskap
Femti grupper i spiss: Epidemiologi, brystkreft
Forskergruppe ved
UiT Norges arktiske universitet:
10 441 siteringer
Femti grupper i spiss: Polarforskning, økotoksikologi
Forskergruppe ved
Norsk polarinstitutt:
3218 siteringer
Field normalized citation rates 2008-2011.
Major universities
Technical Univ of Denmark
Aarhus Univ
Stockholm Univ
Univ of Copenhagen
Karolinska Institutet
Univ of Southern Denmark
Swedish Univ of Agricultural Sci
Univ of Helsinki
Univ of Gothenburg
Uppsala Univ
Lund Univ
Univ of Oslo
Chalmers Univ of Technology
Norwegian Univ of Sci and Tech
Aalborg Univ
Linköping Univ
Umeå Univ
Royal Institute of Technology
Univ of Bergen
Aalto Univ
Univ of Iceland
Univ of Jyväskylä
Univ of Tromsø
Univ of Eastern Finland
Univ of Turku
Univ of Oulu
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
Field normalized citation rates 2008-2011.
Major universities
Technical Univ of Denmark
Aarhus Univ
Stockholm Univ
Univ of Copenhagen
Karolinska Institutet
Univ of Southern Denmark
Swedish Univ of Agricultural Sci
Univ of Helsinki
Univ of Gothenburg
Uppsala Univ
Lund Univ
Univ of Oslo
Chalmers Univ of Technology
Norwegian Univ of Sci and Tech
Aalborg Univ
Linköping Univ
Umeå Univ
Royal Institute of Technology
Univ of Bergen
Aalto Univ
Univ of Iceland
Univ of Jyväskylä
Univ of Tromsø
Univ of Eastern Finland
Univ of Turku
Univ of Oulu
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
Field normalized citation rates 2008-2011.
Major universities
Technical Univ of Denmark
Aarhus Univ
Stockholm Univ
Univ of Copenhagen
Karolinska Institutet
Univ of Southern Denmark
Swedish Univ of Agricultural Sci
Univ of Helsinki
Univ of Gothenburg
Uppsala Univ
Lund Univ
Univ of Oslo
Chalmers Univ of Technology
Norwegian Univ of Sci and Tech
Aalborg Univ
Linköping Univ
Umeå Univ
Royal Institute of Technology
Univ of Bergen
Aalto Univ
Univ of Iceland
Univ of Jyväskylä
Univ of Tromsø
Univ of Eastern Finland
Univ of Turku
Univ of Oulu
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
Field normalized citation rates 2008-2011.
Major universities
Technical Univ of Denmark
Aarhus Univ
Stockholm Univ
Univ of Copenhagen
Karolinska Institutet
Univ of Southern Denmark
Swedish Univ of Agricultural Sci
Univ of Helsinki
Univ of Gothenburg
Uppsala Univ
Lund Univ
Univ of Oslo
Chalmers Univ of Technology
Norwegian Univ of Sci and Tech
Aalborg Univ
Linköping Univ
Umeå Univ
Royal Institute of Technology
Univ of Bergen
Aalto Univ
Univ of Iceland
Univ of Jyväskylä
Univ of Tromsø
Univ of Eastern Finland
Univ of Turku
Univ of Oulu
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
Relativ siteringsindeks, vektet etter fagprofil, 1981-2011
Source: National Science Indicators (NSI), Thomson Reuters
1,7
Danmark
1,5
Finland
1,3
Norge
1,1
Sverige
Verden
0,9
0,7
0,5
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
0,3
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
Data i en siteringsindeks: 2. Samtlige forfatteradresser!
”Norske” Web of Science-artikler med og uten
internasjonalt samarbeid 1993-2012
12000
Med internasjonalt
samarbeid
Uten internasjonalt
samarbeid
10000
8000
6000
4000
2000
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
1999
1998
1997
1996
1995
1994
1993
0
Hvor er samarbeidet?
4000
EU utenom Norden
3500
Nord-Amerika
3000
Andre
Norden internt
2500
2000
1500
1000
500
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
1999
1998
1997
1996
1995
1994
1993
0
Fire ting som ofte måles og undersøkes i bibliometriske
studier av forskning
Forskningsaktivitet
Fagprofil
Publikasjoner pr.
forskningsenhet
Publikasjoner pr. fagfelt
Gjennomslagskraft
Siteringer til publikasjonene
Forskningssamarbeid Adresser i publikasjoner
Oversikt
1. Hva er bibliometri?
 Historisk innledning
 En enkel, illustrert definisjon
2. Bibliometriske datakilder
3. Om å undersøke

Forskningsaktivitet

Fagprofiler

Gjennomslagskraft i senere forskning

Forskningssamarbeid
4. Leiden-manifestet og ansvarlig bibliometri
The “Leiden Manifesto”
The 10 principles can be summarized as follows:
1.
Quantitative indicators cannot replace the judgment of expert assessors, but
they can be used to help support them.
2.
Evaluation of research activity has to adapt to the mission and objectives of the
institution, individual or group being evaluated.
3.
Indicators need to be developed that reflect the impact of research activities
locally and regionally, and those that are developed in languages other than
English.
4.
The data collection and analysis processes have to be open, transparent and
simple.
5.
Those evaluated have to be able to verify the analysis of the indicators being
used for the evaluation and, if they disagree, request re-evaluation.
6.
The differences existing in terms of impact in different fields of research have to
be taken into account when producing indicators.
7.
Individual evaluation of researchers has to be based on qualitative assessment
of their portfolio. Indicators cannot be used without taking into account the
researcher’s context.
8.
False precision and misplaced concreteness must be avoided.
9.
The effects of certain indicators as incentives for certain activities and
disincentives for others must be taken into account.
10. The indicators have to be reviewed and updated regularly.
The “Leiden Manifesto”
The 10 principles can be summarized as follows:
1. Quantitative indicators cannot replace the
judgment of expert assessors, but they can be
used to help support them.
2. Evaluation of research activity has to adapt to
the mission and objectives of the institution,
individual or group being evaluated.
3.
Indicators need to be developed that reflect the impact of research activities locally and regionally, and those
that are developed in languages other than English.
4.
The data collection and analysis processes have to be open, transparent and simple.
5.
Those evaluated have to be able to verify the analysis of the indicators being used for the evaluation and, if they
disagree, request re-evaluation.
6.
The differences existing in terms of impact in different fields of research have to be taken into account when
producing indicators.
7.
Individual evaluation of researchers has to be based on qualitative assessment of their portfolio. Indicators
cannot be used without taking into account the researcher’s context.
8.
False precision and misplaced concreteness must be avoided.
9.
The effects of certain indicators as incentives for certain activities and disincentives for others must be taken
into account.
10.
The indicators have to be reviewed and updated regularly.
Research Evaluation and Performance Indicators
 Bibliometrics may inform,
but not replace peer
review
The “Leiden Manifesto”
The 10 principles can be summarized as follows:
1.
Quantitative indicators cannot replace the judgment of expert assessors, but they can be used to help support
them.
2.
Evaluation of research activity has to adapt to the mission and objectives of the institution, individual or group
being evaluated.
3. Indicators need to be developed that reflect
the impact of research activities locally and
regionally, and those that are developed in
languages other than English.
4.
The data collection and analysis processes have to be open, transparent and simple.
5.
Those evaluated have to be able to verify the analysis of the indicators being used for the evaluation and, if they
disagree, request re-evaluation.
6.
The differences existing in terms of impact in different fields of research have to be taken into account when
producing indicators.
7.
Individual evaluation of researchers has to be based on qualitative assessment of their portfolio. Indicators
cannot be used without taking into account the researcher’s context.
8.
False precision and misplaced concreteness must be avoided.
9.
The effects of certain indicators as incentives for certain activities and disincentives for others must be taken
into account.
10.
The indicators have to be reviewed and updated regularly.
Ufullstendig dekning av internasjonale
tidsskrifter.
Books
Veldig begrenset dekning av
vitenskapelige bøker.
Indexed
journals
Tilfeldig eller manglende dekning av
vitenskapelig publisering på
nasjonalspråkene.
Journals
and series
Coverage of 70,500 scholarly publications from the
higher education sector in Norway 2005-2012.
100%
Scopus
Web of Science
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Health
Sciences
Natural
Sciences
Engineering
Social Sciences
Humanities
The “Leiden Manifesto”
The 10 principles can be summarized as follows:
1.
Quantitative indicators cannot replace the judgment of expert assessors, but they can be used to help support
them.
2.
Evaluation of research activity has to adapt to the mission and objectives of the institution, individual or group
being evaluated.
3.
Indicators need to be developed that reflect the impact of research activities locally and regionally, and those
that are developed in languages other than English.
4. The data collection and analysis processes
have to be open, transparent and simple.
5. Those evaluated have to be able to verify the
analysis of the indicators being used for the
evaluation and, if they disagree, request reevaluation.
6.
The differences existing in terms of impact in different fields of research have to be taken into account when
producing indicators.
7.
Individual evaluation of researchers has to be based on qualitative assessment of their portfolio. Indicators
cannot be used without taking into account the researcher’s context.
8.
False precision and misplaced concreteness must be avoided.
9.
The effects of certain indicators as incentives for certain activities and disincentives for others must be taken
into account.
10.
The indicators have to be reviewed and updated regularly.
Forskningsrådets fagevalueringer som mønster
Principles behind the use of
institutional data in a shared
national Current Research
Information System
• Completeness: All scholarly
publications and other results from
research are included
• Transparency: Every institution can
see and check all other institutions’
data. The national database is also
online and open to society at large.
• Multiple use of the data: CV’s,
applications, evaluations, annual
reports, internal administration,
bibliography for Open Archives, links
to full text, etc.
The “Leiden Manifesto”
The 10 principles can be summarized as follows:
1.
Quantitative indicators cannot replace the judgment of expert assessors, but they can be used to help support
them.
2.
Evaluation of research activity has to adapt to the mission and objectives of the institution, individual or group
being evaluated.
3.
Indicators need to be developed that reflect the impact of research activities locally and regionally, and those
that are developed in languages other than English.
4.
The data collection and analysis processes have to be open, transparent and simple.
5.
Those evaluated have to be able to verify the analysis of the indicators being used for the evaluation and, if they
disagree, request re-evaluation.
6.
The differences existing in terms of impact in different fields of research have to be taken into account when
producing indicators.
7. Individual evaluation of researchers has to be
based on qualitative assessment of their
portfolio. Indicators cannot be used without
taking into account the researcher’s context.
8.
False precision and misplaced concreteness must be avoided.
9.
The effects of certain indicators as incentives for certain activities and disincentives for others must be taken
into account.
10.
The indicators have to be reviewed and updated regularly.
The “Leiden Manifesto”
Principle 7
 The older you are, the higher your h-index, even in the
absence of new papers.
 The h-index varies by field: life scientists top out at 200;
physicists at 100 and social scientists at 20–30.
 It is database dependent: there are researchers in
computer science who have an h-index of around 10 in
the Web of Science but of 20–30 in Google Scholar.
Distribution of citations among articles by one highly cited author
500
450
400
350
300
Mean = 50,7
250
200
H-index = 49
150
100
50
0
Median = 28
Fordelingen av 4845 siteringer mellom 405 artikler publisert siden
1992 i Science, Technology & Human Values
300
250
200
150
Journal Impact Factor
100
0
405
396
387
381
369
359
354
343
338
330
317
311
301
291
279
259
268
243
252
224
233
200
209
218
181
190
151
160
169
122
131
140
90
99
108
117
62
71
80
89
9
18
27
36
45
50
Den nye indikatoren
Publication type
Level 1
Level 2
Article in ISSN-title
1
3
Article in ISBN-title
0,7
1
5
8
ISBN-title
Uendret
Brøkdeling av publikasjonen ved mer enn én
institusjon
Publication
Institusjonens andel
erstattes med kvadratroten
av institusjonens andel
Author 1
Institution
A
Poenget kan multipliseres med en bestemt
faktor hvis det foreligger institusjonelt eller
internasjonalt samarbeid
Author 2
Institution
B
Institution
C
Author 3
Institution
C
Faktor på 1,3 i alle tre
sektorer for internasjonalt
samforfatterskap
The “Leiden Manifesto”
Principle 7
 Reading and judging a researcher's work is much more
appropriate than relying on one number. Even when
comparing large numbers of researchers, an approach
that considers more information about an individual's
expertise, experience, activities and influence is best.