Facteur d’impact, hindex, bibliométrie : pourquoi et comment? Dernière mise à jour : 26/01/2015- Auteur : Frédérique Flamerie Plan De quoi parle-t-on? Le facteur d’impact Les modèles alternatifs au facteur d’impact Le h-index Perspectives 1. De quoi parle-t-on? Lectures indispensables Disponible à la Bibliothèque BCPR (Biologie Chimie Physique Recherche) cote 507.2 GIN + rapport de l’Académie des Sciences + bibliographie et webographie BUPMC « Do metrics matter ? » Alison Abbott , David Cyranoski , Nicola Jones , Brendan Maher , Quirin Schiermeier & Richard Van Noorden. Metrics : do metrics matter?, Nature, n° 465, p. 860-862 (2010). De quoi parle-t-on? Qu’est-ce que la bibliométrie ? Elle se définit comme l’exploitation statistique des publications Elle « procède du calcul de divers indicateurs à partir des bases de données bibliographiques couvrant la quasi-totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines. » Du bon, usage de la bibliométrie pour l’évaluation individuelle des chercheurs : Rapport de l’Académie des Sciences, 17 janvier 2011 De quoi parle-t-on? A quoi la bibliométrie sert-elle? Analyse des citations = outil multi-usage • • • • • recherche documentaire et gestion de collections de revues histoire et sociologie des sciences caractérisation évaluation classement De quoi parle-t-on? Plusieurs objets et plusieurs niveaux Sources, revues Pays Laboratoires, institutions Chercheurs De quoi parle-t-on? Les palmarès : un apercçu Caractériser Classer • • • • U-Multirank Approche pluridimensionnelle Comparer ce qui est comparable • • Classement de Shangaï Monodimensionnel : critères de prestige scientifique N’est plus significatif au-delà de la 10e place any number beats no number De quoi parle-t-on? Bases de données de référence Pour les institutions et les chercheurs : • Thomson Reuters : Web of Science Core Collection (+ de 8 600 titres) et Essential Science Indicators • Elsevier : Scopus (+ de 20 000 titres) Pour les sources / revues : • le Journal Citation Reports, fondé sur le WoS • Scimago, utilisant les données de Scopus De quoi parle-t-on? Pourquoi le Web of Science est-il (si) sélectif? Distributions bibliométriques : 20/80 Loi de Bradford Effet Mathieu 100 % of database évangile selon St Matthieu 2529 : « Car on donnera à celui qui a et il sera dans l’abondance, mais à celui qui n’a pas, même ce qu’il a lui sera retiré » 120 80 60 40 20 0 0 1000 2000 3000 4000 5000 6000 # of journals Articles Citations Source : Thomson-Reuters - présentation UPMC 2011 Voir : A. Blanchard, Distributions et lois Bibliométriques - 31/01/2005 Notion clé = la citation Une citation au sens du Web of Science est la référence à : • • • • une review, un article de recherche, un éditorial, etc. : article de toute nature Mise en relation nombre de citations/nombre d’articles au fondement des 2 indicateurs les + utilisés • facteur d’impact • h-index De quoi parle-t-on? 2. Le facteur d’impact Le facteur d’impact Mode de calcul Impact factor année 2012 = Nombre de citations reçues en 2012 par des articles publiés en 2011 et 2010 Nombre d’articles « citables » publiés en 2011 et 2010 Exemple : Facteur d’impact de The Astrophysical Journal en 2012 = nb de citations reçues en 2012 par des articles publiés en 2011 et 2010 (33485) -----------------------------------------------------------------------nb d'articles citables publiés en 2011 et en 2010 (4973) Soit 33485 / 4973 = 6,733 Le facteur d’impact 2012 de cette revue est de 6,733 Le facteur d’impact Mode de calcul Années précédentes 2008 2009 2010 Temps Publications de 2010 Publications citées en 2010, publiées en 2008 et 2009 Schéma d’après Le facteur d’impact Impact Factor Où trouver l’information : Journal Citation Reports Le JCR fait partie de l’abonnement de l’UPMC au Web of Science. 3 modes d’accès : • Jubil > Ressources en ligne : les essentiels > Bases de données Le facteur d’impact Où trouver l’information : Journal Citation Reports Accès contextuel depuis la liste A-Z et le menu du résolveur de liens SFX Ce service n’apparaît que si la revue a un facteur d’impact Le facteur d’impact Où trouver l’information : Journal Citation Reports Accès depuis le Web of Science Accès depuis le menu en haut de chaque page Accès contextuel depuis un résultat de recherche Le facteur d’impact Le JCR : Données générales sur une revue Facteur d’impact Eigenfactor indice Journal rank in categories analyse du classement d’une revue dans la (ou les) catégorie(s) dont elle fait partie Le facteur d’impact bibliométrique pondérant le nbre de citations par le prestige des revues dont elles proviennent (cf. infra) Le JCR : Rank in Category - Journal Ranking Permet de situer une revue dans le contexte des catégories auxquelles elle appartient complété par le Box Plot Le facteur d’impact Le JCR : Rank in Category - Box Plot Whiskers : valeurs max et min qui ne sont pas > 1.5 aux valeurs des 25% et 75% Le facteur d’impact Le JCR : Données d’une catégorie de revues Le facteur d’impact Le JCR : autres indicateurs Liens de citations • Revue citée identifie les publications qui citent le plus souvent une revue donnée mettre en évidence un réseau de revues • Revue citante identifie les publications le plus souvent citée par une revue donnée mettre en évidence un réseau de revues • Revues connexes Relatedness (R) : analyse des liens de citation entre les revues déterminer des proximités sémantiques identifier les liens entre les revues Le facteur d’impact Le JCR : autres indicateurs Cited Journal Data Le facteur d’impact Les articles publiés en 2006 dans Astronomy & astrophysics ont été cités 534 fois en 2006 dans Astrophys J. Le JCR : autres indicateurs Citing Journal Data Titres cités 1 fois seulement Le facteur d’impact Le JCR : autres indicateurs Related Journals Le facteur d’impact Le JCR : autres indicateurs Cited Journal Graph : comment la revue est-elle citée? Demi-vie de citation Citations utilisées pour calculer le facteur d’impact Le facteur d’impact Le JCR : autres indicateurs Citing Journal Graph : comment la revue cite-t-elle? Demi-vie de citation Le facteur d’impact Les limites du facteur d’impact « Like nuclear energy, the impact factor is a mixed blessing. » Eugène Garfield, The agony and the ecstasy - The history and meaning of the journal impact factor Les limites du facteur d’impact Avis de chercheurs Les limites du facteur d’impact D’importantes différences entre disciplines Antériorité des citations : % than d’articles % of cites older 10 years de plus de 10 ans 80.00% 70% 70.00% 60.00% 50.00% 46% 45% 42% 42% 40.00% 39% 39% 43% 43% 29% 30.00% 35% 20.00% 10.00% Be ha Bi vi om ou ed ra lS ic al cie & nc Li e fe Bu S s C cie in he es nc m s es ist & Ec ry & on M om at ic er s ia ls Ea Sc C om rth ie nc pu & e te En rS vi ro ci en nm ce en ta lS ci H en um ce En an itie gi ne s, er So in c. g Sc i. & M at La h w & St at ist ics Ph M ed ys ic ics in e & As tro no m y 0.00% Les limites du facteur d’impact Source : Springer D’importantes différences entre disciplines Densité et temporalité des citations « En biologie moléculaire, il n’est pas rare qu’un article recueille 10 à 30 citations en 2 ans, alors qu’une revue de premier rang en mathématiques n’en recevra que deux ». Manuel Durand-Barthez, L’évaluation des publications scientifiques : nouvelles approches, nouveaux enjeux, 2009 Source : http://www.eigenfactor.org/whyeigenfactor.php Les limites du facteur d’impact Limites du mode de calcul délai de 2 ans du facteur d’impact critiquable, celui de 5 ans également NB : l’impact sur 2 ans reste l’indicateur de référence Importance des critères éditoriaux • Nombre de fascicules dans l’année • Nombre de pages et d’articles par n° • Type d’article : reviews sont citées 2 fois plus en moyenne Les limites du facteur d’impact Danger de l’extrapolation Le facteur d'impact se rapporte à une revue et non à un article. Les articles d'une revue à fort facteur d'impact ne sont pas tous cités de manière identique « Les revues les plus prestigieuses, à facteur d’impact très élevé, contiennent un pourcentage significatif d’articles de qualité moyenne » Rapport de l’Académie des Sciences, op. cit., p.2 Ex de Nature : en 2004, 25% des articles ont constitué 89% du FI Depuis 2008 + de 50% de ses articles ont reçu zéro ou 1 citation. Les limites du facteur d’impact 3. Les modèles alternatifs au facteur d’impact L’algorithme du PageRank : influence weight « fonde le statut d’une page web sur une combinaison des liens qui pointent vers une page et sur le statut des pages dont sont issus ces liens. En prenant en compte à la fois des facteurs de popularité et de prestige, Google a pu éviter d’attribuer des rangs élevés à des pages web populaires mais par ailleurs non pertinentes. » Rodriguez M.A., Bollen J., Van de Sompel H., « Journal Status », Scientometrics, vol. 69, n° 3, 2006, p. 669 revues populaires vs. revues prestigieuses Les modèles alternatifs au facteur d’impact Narin - 1976 Eigenfactor • Conçu par Carl T. Bergström, Université de Washington, 2007 • S’appuie sur le corpus du JCR • Prise en compte d’un « poids » des citations, lié à l’influence relative des revues dans la communauté scientifique • Les auto-citations sont exclues du calcul • Fondé sur les 5 années les plus récentes Les modèles alternatifs au facteur d’impact Les indicateurs de l’Eigenfactor • Eigenfactor Score = mesure de l’influence d’un journal pour la communauté scientifique - influence globale d’une revue Somme des Eingenfactor scores de toutes les revues du JCR = 100 • Article Influence Score = mesure de l’influence moyenne de chaque article sur les 5 dernières années - influence moyenne par article Article Influence Score moyen du JCR = 1 • Cost effectiveness Score = prix/Eigenfactor score Cost effectiveness score moyen = 1 Les modèles alternatifs au facteur d’impact Eigenfactor http://www.eigenfactor.org Les modèles alternatifs au facteur d’impact http://well-formed.eigenfactor.org Données de 1997 à 2005 Citation patterns : liens de citation entre revues et entre domaines disciplinaires Change over time : évolution du Eigenfactor score Clustering : classement par Article Influence et liens de citation entre revues Map : réseau de citations Clustering Le SCImago Journal Rank • Corpus de Scopus (Elsevier) • Calculs sur 2, 3 ou 4 ans • Indicateurs et classement des revues et des pays • Indice d’évaluation des revues fondé sur le principe de l’Eigenfactor En détail : http://www.scimagojr.com/SCImagoJournalRank.pdf Les modèles alternatifs au facteur d’impact Scimago - Journal Rankings Scimago - Country Rankings Scimago - Compare : revues ou pays Les modèles alternatifs au facteur d’impact Scimago - The Shape of Science 4. Le h-index Définition Jorge E. Hirsch - 2005 An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569-16572. [en ligne sur : dx.doi.org/10.1073/pnas.0507655102 et sur arXiv : http://arxiv.org/abs/physics/0508025] « I propose the index h, defined as the number of papers with citation number ≥h, as a useful index to characterize the scientific output of a researcher. » Un chercheur ayant publié 2 articles cité au moins 2 fois a un indice H de 2. Un chercheur ayant publié 150 articles parmi lesquels 82 ont été cité au moins 82 fois a un indice H de 82. Un chercheur ayant publié 35 articles ne peut pas avoir un indice H supérieur à 35. Le h-index Mode de calcul Source : MARNETT, Alan, « H-Index: What It Is and How to Find Yours », BenchFly, 2010, [En ligne : http://www.benchfly.com/blog/h-index-what-it-isand-how-to-find-yours/]. Consulté le 29 février 2012. Le h-index Le h-index dans le Web of Science Core Collection A partir d’une liste de résultats (< 10 000 résultats) Le h-index Le h-index dans le Web of Science Core Collection La limite qui permet de déterminer l’indice H apparaît dans la liste des résultats Le h-index Les limites du h-index Source : Flickr - auteur : fragmented Les limites du h-index Le h-index suppose : • une ancienneté de carrière la comparaison de l’indice H n’a de sens qu’en tenant compte de la « séniorité » des chercheurs concernés, car il augmente avec l’âge • un grand nombre de publications, générant un grand nombre de citations lien avec l’âge mais aussi la discipline du chercheur Les limites du h-index Les limites du h-index • Les différences de pratiques entre disciplines sont peu prises en compte : la comparaison n’a de sens que dans un même domaine • Les contributions exactes des auteurs ne sont pas prises en compte : différences majeures entre disciplines (ordre alphabétique ou hiérarchie des contributions) pondérer le h-index par un facteur reflétant le nombre moyen de co-auteurs et le rôle de chacun ? Les limites du h-index Exemples Biologie / Sciences du vivant : entre 5 et 10 signataires, parfois plus • Étudiant ou post-doc qui a fait la manip : 1er signataire • Personne qui lui est la plus proche : 2e signataire • En remontant : directeur du groupe, directeur du labo etc. validité des indicateurs pour les signataires « du milieu » ? confusion entre « auteur » et « collaborateur » ? Géosciences : en général moins de 10 auteurs et encore assez souvent moins de 5. Ordre en général lié à l’importance décroissante des contributions. De plus en plus fréquemment mention des ingénieurs de recherche comme co-auteurs Mathématiques : plus de la moitié des articles n’ont qu’un seul auteur Les limites du h-index L’indice G Le h-index ne permet pas de faire la différence entre articles très au-dessus ou très au-dessous de l’indice moyen : il ne valorise pas les travaux à très gros impact et/ou à impact durable, « gelés » par l’indice H Création par Léo Egghe de l’indice G, en 2006, afin de « distinguer l’excellence dans la productivité » (Rapport de l’Académie des Sciences) Un chercheur aura un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6889 citations, c’est-àdire G au carré Indice encore peu connu et encore peu utilisé. Les limites du h-index 5. Perspectives Limites de l’analyse des citations Part réelle de chaque co-auteur difficile à évaluer Mauvaises pratiques de citations : références biblio choisies par opportunisme • citations d’articles de la revue dans laquelle on publie, • cartels de citations, • autocitations, etc. Articles non-cités parce qu’ils sont des quasiclassiques ou parce qu’ils sont très originaux qualité/impact information/évaluation Perspectives Le top 100 des articles les + cités depuis 50 ans = méthodes + logiciels Still, there is one powerful lesson for researchers, notes Peter Moore, a chemist at Yale University in New Haven, Connecticut. “If citations are what you want,” he says, “devising a method that makes it possible for people to do the experiments they want at all, or more easily, will get you a lot further than, say, discovering the secret of the Universe”. Les limites de la citation Source : Van Noorden R., Maher B., Nuzzo R. « The top 100 papers ». Nature. 29 octobre 2014. Vol. 514, n°7524, p. 550-553. Disponible sur : < http://dx.doi.org/10.1038/514550a > Image en grande dimension Altmetrics Mesures alternatives (ou alternatives aux mesures) : • usage • recommendantion • partage • réutilisation généralistes, grand public (Twitter) vs. spécialisés, recherche (Mendeley, ResearchGate, blogs scientifiques, etc.) Altmetrics manifesto Les limites de la citation Altmetrics Commentaire du top 100 2013 altmetric.com • 58/100 = dans revues sur abonnement • 2è et 4è : sur l’obésité et le sommeil • Parus dans NEJM et Science Après le h-index, le k-index? Différents fournisseurs • Altmetric.com : utilisé par Elsevier et Nature notamment • PLOS : utilisé par Copernicus • Impactstory : utilisable par les chercheurs • Plum Analytics (appartient à Ebsco) Hall, N. The Kardashian index: a measure of discrepant social media profile for scientists. Genome Biology 15, 424 (2014). DOI : 10.1186/s13059-014-0424-0 Perspectives Source : http://www.phdcomics.com/comics/archive.php?comicid=1737 Doctorat/Bibliométrie Perspectives Bibliographie et webographie Perspectives
© Copyright 2024