1. No category

Facteur d’impact, hindex, bibliométrie :
pourquoi et comment?
Dernière mise à jour : 04/11/2014 - Auteur : Frédérique Flamerie
Plan
De quoi parle-t-on?
Le facteur d’impact
Les modèles alternatifs au
facteur d’impact
Le h-index
Les limites de la citation
1. De quoi parle-t-on?
Lectures indispensables
Disponible à la
Bibliothèque Chimie-Physique Recherche
cote 507.2 GIN
+ rapport de l’Académie des Sciences
+ bibliographie et webographie BUPMC
« Do metrics matter ? »
Alison Abbott , David Cyranoski , Nicola Jones , Brendan Maher , Quirin Schiermeier & Richard
Van Noorden. Metrics : do metrics matter?, Nature, n° 465, p. 860-862 (2010).
De quoi parle-t-on?
Qu’est-ce que la bibliométrie ?
• Elle se définit comme l’exploitation
statistique des publications
• Elle « procède du calcul de divers indicateurs
à partir des bases de données
bibliographiques couvrant la quasi-totalité de
la littérature scientifique et de leurs citations
dans la plupart des disciplines. »
Du bon, usage de la bibliométrie pour l’évaluation individuelle des
chercheurs : Rapport de l’Académie des Sciences, 17 janvier 2011
De quoi parle-t-on?
A quoi la bibliométrie sert-elle?
Analyse des citations = outil multi-usage
•
•
•
•
•
recherche documentaire et gestion de
collections de revues
histoire et sociologie des sciences
caractérisation
évaluation
classement
De quoi parle-t-on?
Plusieurs objets et plusieurs
niveaux
Sources, revues
Pays
Laboratoires, institutions
Chercheurs
De quoi parle-t-on?
Les palmarès : un apercçu
Caractériser
Classer
•
•
•
•
U-Multirank
Approche
pluridimensionnelle
Comparer ce qui est
comparable
•
•
Classement de
Shangaï
Monodimensionnel :
critères de prestige
scientifique
N’est plus significatif
au-delà de la 10e
place
any number beats no number
De quoi parle-t-on?
Quels indicateurs?
Ex : Evaluation à l’Inserm :
https://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/Doc/Indicateurs/Indicateurs_bibliometriques_Inserm.pdf et
https://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/Doc/Indicateurs/Lettre_Neurosciences_30_Dossier_Bibliometrie.pdf
De quoi parle-t-on?
Voir aussi : Présentation d’Yves Langevin
Bases de données de référence
 Pour les institutions et les chercheurs :
• le Web of Science Core Collection:
Thomson Reuters / + de 8 600 titres
• Scopus : Elsevier / + de 20 000 titres
 Pour les sources / revues :
• le Journal Citation Reports, fondé sur le
WoS
• Scimago, utilisant les données de Scopus
De quoi parle-t-on?
Pourquoi le Web of Science est-il (si) sélectif?
Distributions bibliométriques : 20/80
Loi de Bradford
Effet Mathieu
100
% of database
évangile selon St Matthieu 2529 : « Car on donnera à celui
qui a et il sera dans
l’abondance, mais à celui qui
n’a pas, même ce qu’il a lui
sera retiré »
120
80
60
40
20
0
0
1000
2000
3000
4000
5000
6000
# of journals
Articles
Citations
Source : Thomson-Reuters - présentation UPMC 2011
Voir : A. Blanchard, Distributions et lois Bibliométriques - 31/01/2005
Notion clé = la citation
 Une citation au sens du Web of Science est la
référence à :
•
•
•
•
une review,
un article de recherche,
un éditorial,
etc. : article de toute nature
 Mise en relation nombre de citations/nombre
d’articles au fondement des 2 indicateurs les +
utilisés
• facteur d’impact
• H-index
De quoi parle-t-on?
2. Le facteur d’impact
Le facteur d’impact
Mode de calcul
Nombre de citations reçues en 2012
par des articles publiés en 2011 et 2010
Impact factor
année 2012 =
Nombre d’articles « citables » publiés en 2011 et 2010
Exemple :
Facteur d’impact de The Astrophysical Journal en 2012 =
nb de citations reçues en 2012 par des articles publiés en
2011 et 2010 (33485)
-----------------------------------------------------------------------nb d'articles citables publiés en 2011 et en 2010 (4973)
Soit 33485 / 4973 = 6,733
Le facteur d’impact 2012 de cette revue est de 6,733
Le facteur d’impact
Mode de calcul
Années
précédentes
2008
2009
2010
Temps
Publications de 2010
Publications citées en 2010,
publiées en 2008 et 2009
Schéma d’après
Le facteur d’impact
Impact
Factor
Où trouver l’information : Journal Citation Reports
Le JCR fait partie de l’abonnement de l’UPMC au Web of Science.
3 modes d’accès :
• Jubil > Ressources en ligne : les essentiels > Bases de données
Le facteur d’impact
Où trouver l’information : Journal Citation Reports
Accès contextuel depuis la liste A-Z et le menu du résolveur de
liens SFX
Ce service n’apparaît que si la
revue a un facteur d’impact
Le facteur d’impact
Où trouver l’information : Journal Citation Reports
Accès depuis le Web of Science
Accès depuis le menu en
haut de chaque page
Accès contextuel
depuis un résultat de
recherche
Le facteur d’impact
Le JCR : Données générales sur une revue
Facteur d’impact
Eigenfactor indice
Journal rank in categories
analyse du classement d’une revue dans la (ou
les) catégorie(s) dont elle fait partie
Le facteur d’impact
bibliométrique pondérant le
nbre de citations par le
prestige des revues dont elles
proviennent (cf. infra)
Le JCR : Rank in Category - Journal Ranking
Permet de situer une revue dans le contexte des catégories auxquelles elle
appartient
complété par le Box Plot
Le facteur d’impact
Le JCR : Rank in Category - Box Plot
Whiskers : valeurs max et min qui ne sont pas > 1.5
aux valeurs des 25% et 75%
Le facteur d’impact
Le JCR : Données d’une catégorie de revues
Le facteur d’impact
Le JCR : autres indicateurs
Liens de citations
• Revue citée
identifie les publications qui citent le plus souvent une revue donnée
mettre en évidence un réseau de revues
• Revue citante
identifie les publications le plus souvent citée par une revue donnée
mettre en évidence un réseau de revues
• Revues connexes
Relatedness (R) : analyse des liens de citation entre les revues pour
déterminer des proximités sémantiques
identifier les liens entre les revues
Le facteur d’impact
Le JCR : autres indicateurs
Cited Journal Data
Le facteur d’impact
Les articles publiés en 2006 dans Astronomy &
astrophysics ont été cités 534 fois en 2006 dans
Astrophys J.
Le JCR : autres indicateurs
Citing Journal Data
Titres cités
1 fois
seulement
Le facteur d’impact
Le JCR : autres indicateurs
Related Journals
Le facteur d’impact
Le JCR : autres indicateurs
Cited Journal Graph : comment la revue est-elle citée?
Demi-vie
de citation
Citations utilisées pour calculer
le facteur d’impact
Le facteur d’impact
Le JCR : autres indicateurs
Citing Journal Graph : comment la revue cite-t-elle?
Demi-vie
de citation
Le facteur d’impact
Les limites du facteur d’impact
« Like nuclear energy,
the impact factor is a
mixed blessing. »
Eugène Garfield, The agony
and the ecstasy - The
history and meaning of the
journal impact factor
Les limites du facteur
d’impact
Avis de chercheurs
Les limites du facteur
d’impact
D’importantes différences entre disciplines
Antériorité des citations
: % than
d’articles
% of cites older
10 years de plus de 10 ans
80.00%
70%
70.00%
60.00%
50.00%
46%
45%
42%
42%
40.00%
39%
39%
43%
43%
29%
30.00%
35%
20.00%
10.00%
Be
ha
Bi
vi
om
ou
ed
ra
lS
ic
al
cie
&
nc
Li
e
fe
Bu
S
s
C
cie
in
he
es
nc
m
s
es
ist
&
Ec
ry
&
on
M
om
at
ic
er
s
ia
ls
Ea
Sc
C
om
rth
ie
nc
pu
&
e
te
En
rS
vi
ro
ci
en
nm
ce
en
ta
lS
ci
H
en
um
ce
En
an
itie
gi
ne
s,
er
So
in
c.
g
Sc
i.
&
M
at
La
h
w
&
St
at
ist
ics
Ph
M
ed
ys
ic
ics
in
e
&
As
tro
no
m
y
0.00%
Les limites du facteur
d’impact
Source : Springer
D’importantes différences entre disciplines
Densité et temporalité des citations
« En biologie moléculaire, il n’est pas rare qu’un article recueille 10 à 30 citations
en 2 ans, alors qu’une revue de premier rang en mathématiques n’en recevra
que deux ». Manuel Durand-Barthez, L’évaluation des publications scientifiques :
nouvelles approches, nouveaux enjeux, 2009
Source : http://www.eigenfactor.org/whyeigenfactor.php
Les limites du facteur
d’impact
Voir aussi Essential Science Indicators
 Limites du mode de calcul
délai de 2 ans du facteur d’impact critiquable, celui
de 5 ans également
NB : l’impact sur 2 ans reste l’indicateur de référence
 Importance des critères éditoriaux
• Nombre de fascicules dans l’année
• Nombre de pages et d’articles par n°
• Type d’article : reviews sont citées 2 fois plus en
moyenne
Les limites du facteur
d’impact
Danger de l’extrapolation
Le facteur d'impact se rapporte à une revue et non à
un article.
Les articles d'une revue à fort facteur d'impact ne
sont pas tous cités de manière identique
« Les revues les plus prestigieuses, à facteur d’impact
très élevé, contiennent un pourcentage significatif
d’articles de qualité moyenne »
Rapport de l’Académie des Sciences, op. cit., p.2
Ex de Nature : en 2004, 25% des articles ont constitué 89% du FI
Depuis 2008 + de 50% de ses articles ont reçu zéro ou 1 citation.
Les limites du facteur
d’impact
3. Les modèles alternatifs
au facteur d’impact
L’algorithme du PageRank : influence weight
« fonde le statut d’une page web sur une
combinaison des liens qui pointent vers
une page et sur le statut des pages dont
sont issus ces liens. En prenant en
compte à la fois des facteurs de
popularité et de prestige, Google a pu
éviter d’attribuer des rangs élevés à des
pages web populaires mais par ailleurs
non pertinentes. »
Rodriguez M.A., Bollen J., Van de Sompel
H., « Journal Status », Scientometrics, vol.
69, n° 3, 2006, p. 669
revues populaires vs. revues
prestigieuses
Narin - 1976
Les modèles alternatifs
au facteur d’impact
Eigenfactor
 Conçu par Carl T. Bergström, Université de
Washington, 2007
 S’appuie sur le corpus du JCR (Thomson
Reuter)
 Prise en compte d’un « poids » des citations,
lié à l’influence relative des revues dans la
communauté scientifique
 Les auto-citations sont exclues du calcul
 Fondé sur les 5 années les plus récentes
Les modèles alternatifs
au facteur d’impact
Les indicateurs de l’Eigenfactor
 Eigenfactor Score
= mesure de l’influence d’un journal pour la communauté
scientifique - influence globale d’une revue
Somme des Eingenfactor scores de toutes les revues du JCR = 100
 Article Influence Score
= mesure de l’influence moyenne de chaque article sur les 5
dernières années - influence moyenne par article
Article Influence Score moyen du JCR = 1
 Cost effectiveness Score
= prix/Eigenfactor score
Cost effectiveness score moyen = 1
Les modèles alternatifs
au facteur d’impact
Eigenfactor
http://www.eigenfactor.org
Les modèles alternatifs
au facteur d’impact
Liste de résultats
Les modèles alternatifs
au facteur d’impact
Eigenfactor
Eigenfactor
Détail d’un résultat
Les modèles alternatifs
au facteur d’impact
Cartographie
Les modèles alternatifs
au facteur d’impact
Eigenfactor
Le SCImago Journal Rank
•
S’appuie sur le corpus de Scopus (Elsevier)
•
Couverture environ 3 fois supérieure au JCR : + de 18000
titres
•
Calculs sur 2, 3 ou 4 ans
•
Indicateurs et classement des revues mais aussi des pays
•
Indice d’évaluation des revues fondé sur le principe de
l’Eigenfactor
En détail : http://www.scimagojr.com/SCImagoJournalRank.pdf
Les modèles alternatifs
au facteur d’impact
Scimago - Journal Indicators
Paramètres de
classement
Les modèles alternatifs
au facteur d’impact
Scimago - Journal Indicators : détail d’un titre
Les modèles alternatifs
au facteur d’impact
Scimago - Country Indicators
Paramètres de
classement
Les modèles alternatifs
au facteur d’impact
Scimago - Country Indicators : détail d’un pays
Les modèles alternatifs
au facteur d’impact
Scimago - Compare : revues
Aide à la saisie
Les modèles alternatifs
au facteur d’impact
Scimago - Compare : revues
Onglets :
critères de
comparaison
Titres comparés
Les modèles alternatifs
au facteur d’impact
Scimago - Compare : pays
Pays comparés
Choix du
domaine
disciplinaire
Onglets :
critères de
comparaison
Les modèles alternatifs
au facteur d’impact
4. Le h-index
Définition
Jorge E. Hirsch - 2005
An index to quantify an individual’s scientific research output. Proceedings of the National Academy
of Sciences, 102(46), 16569-16572. [en ligne sur : dx.doi.org/10.1073/pnas.0507655102 et sur arXiv :
http://arxiv.org/abs/physics/0508025]
« I propose the index h, defined as the number of
papers with citation number ≥h, as a useful index to
characterize the scientific output of a researcher. »
Un chercheur ayant publié 2 articles cité au
moins 2 fois a un indice H de 2.
Un chercheur ayant publié 150 articles parmi lesquels 82 ont été
cité au moins 82 fois a un indice H de 82.
Un chercheur ayant publié 35 articles ne peut pas avoir un indice
H supérieur à 35.
Le h-index
Mode de calcul
Source : MARNETT, Alan, « H-Index: What It Is and How to Find Yours », BenchFly, 2010, [En
ligne : http://www.benchfly.com/blog/h-index-what-it-is-and-how-to-find-yours/]. Consulté
le 29 février 2012.
Le h-index
Le h-index dans le Web of Science Core Collection
A partir d’une liste de résultats (< 10 000
résultats)
Le h-index
Le h-index dans le Web of Science Core Collection
La limite qui permet de déterminer l’indice H
apparaît dans la liste des résultats
Le h-index
Les limites du h-index
Source : Flickr
- auteur :
fragmented
Les limites du h-index
L’intérêt principal de l’indice H est de mesurer l’impact
d’un chercheur et non d’une revue
Cependant, il suppose :
• une ancienneté de carrière
la comparaison de l’indice H n’a de sens qu’en tenant
compte de la « séniorité » des chercheurs concernés,
car il augmente avec l’âge.
• un grand nombre de publications, générant un grand
nombre de citations
 lien avec l’âge mais aussi la discipline du chercheur
Les limites
du h-index
Les limites du h-index
• Les différences de pratiques entre disciplines
sont peu prises en compte :
la comparaison d’indices h n’a de sens que dans un
même domaine
• Les contributions exactes des auteurs ne sont
pas prises en compte : différences majeures
entre disciplines (ordre alphabétique ou
hiérarchie des contributions)
pondérer l’indice H par un facteur reflétant le nombre
moyen de co-auteurs et le rôle de chacun ?
Les limites
du h-index
Exemples
 Biologie / Sciences du vivant : entre 5 et 10 signataires,
parfois plus
• Étudiant ou post-doc qui a fait la manip : 1er signataire
• Personne qui lui est la plus proche : 2e signataire
• Directeur de thèse : dernier signataire
• En remontant : directeur du groupe, directeur du labo etc.
 validité des indicateurs pour les signataires « du milieu » ?
 confusion entre « auteur » et « collaborateur » ?
 Géosciences : en général moins de 10 auteurs et encore
assez souvent moins de 5. Ordre en général lié à l’importance
décroissante des contributions. De plus en plus fréquemment
mention des ingénieurs de recherche comme co-auteurs
 Mathématiques : plus de la moitié des articles n’ont qu’un
seul auteur
Les limites
du h-index
L’indice G
L’indice H ne permet pas de faire la différence entre articles
très au-dessus ou très au-dessous de l’indice moyen : il
ne valorise pas les travaux à très gros impact et/ou à
impact durable, « gelés » par l’indice H
 Création par Léo Egghe de l’indice G, en 2006, afin de
« distinguer l’excellence dans la productivité »
(Rapport de l’Académie des Sciences)
Un chercheur aura un facteur G de 83 si ses 83 articles
les plus cités totalisent au moins 6889 citations, c’est-àdire G au carré
Indice encore peu connu et encore peu utilisé.
Les limites
du h-index
5. Les limites de la
citation
Limites de l’analyse des citations
 Part réelle de chaque co-auteur difficile à
évaluer
 Mauvaises pratiques de citations : références
biblio choisies par opportunisme
• citations d’articles de la revue dans laquelle on publie,
• cartels de citations,
• autocitations, etc.
 Articles non-cités parce qu’ils sont des quasiclassiques ou parce qu’ils sont très originaux
 qualité/impact
information/évaluation
Les limites de la
citation
Altmetrics
Mesures alternatives (ou
alternatives aux
mesures) :
• usage
• recommendantion
• partage
• réutilisation
généralistes, grand public
(Twitter)
vs.
spécialisés, recherche
(Mendeley, ResearchGate,
blogs scientifiques, etc.)
Altmetrics manifesto
Les limites de la
citation
Altmetrics
Commentaire du top 100
2013 altmetric.com
• 58/100 = dans revues sur
abonnement
• 2è et 4è : sur l’obésité et le
sommeil
• Parus dans NEJM et Science
Différents fournisseurs
• Altmetric.com : utilisé par
Elsevier et Nature
notamment
• PLOS : utilisé par
Copernicus
• Impactstory : utilisable par
les chercheurs
• Plum Analytics (appartient
à Ebsco)
Après le h-index, le k-index?
Hall, N. The Kardashian index: a measure of discrepant social media profile for
scientists. Genome Biology 15, 424 (2014). DOI : 10.1186/s13059-014-0424-0
Les limites de la
citation
Bibliographie et webographie