La présentation au format PDF de Paul Thirion
« Bibliométrie, scientométrie et métriques alternatives : quels outils pour quelles stratégies? » 1er avril 2015 Bibliométrie et Open Access à ULg Paul Thirion, ULg Dialogue de sourds… Il faut mesurer ! La qualité des chercheurs Leur produc>on scien>fique Pas le temps ! Des chiffres ! Le facteur d’impact ! Très précis ! Mesurer quoi ? C’est quoi ça ? Ah ! OK. Lisons là alors Mesurer le qualita>f par du quan>ta>f ?! Eh…. Un peu de mesure, s’il vous plaît ! • • • • Qualité d’un chercheur > la qualité de sa produc>on scien>fique Qualité d’un ar>cle s’évalue d’abord qualita'vement : en le lisant Fondamentalement plurielle. Tout sauf univoque La mesurer et la résumer en un nombre – honteusement simplificateur – illusoire Mesure de la qualité <-‐> « indicateurs » de « notoriété » Mais rejeter d’un revers toute évalua>on est illusoire et contreproduc>f… • Constat : – Ce n’est pas les metrics qui posent problème, – C’est l’usage magique et abusif qui en est fait sans en connaître les caractéris>que, la portée, les limites – Évalua>on inévitable => préférer la plus correcte, complète et transparente possible • Que faire ? Nos éléments de réponses… – – – – – Pragma>sme Transparence et rigueur Apprendre du tatami Pédagogie subliminale Et volonté d’u>liser des données solides OA@ULg : une longue histoire et un rôle de pionnier… Sous l’impulsion de B. Ren>er et des bibliothèques Open Repository and Bibliography « user oriented » Un système, deux objec>fs : • Bibliographie ins>tu>onnelle complète • Répertoire ins>tu>onnel OA pour FT (+ adjuvants, Open Data…) Dépôt en>èrement à charge des auteurs ULg (*) • L’équipe ORBi developpe, améliore le système, ajoute des fonc>onnalités, forme, communique… • MAIS n’introduit pas les références ! Caractéris)ques principales Respect de chacun (auteur, éditeur, ins>tu>on) • Open Access • Restricted Access → DEMANDES DE TIRÉ-‐À-‐PART (*) éventuellement aidé par un mandataire « Le Mandat ULg » ...ou comment dépasser l’anecdodique… Le « mandat ULg » Mai 2007 : défini>on d’un mandat fort par le Conseil d’Administra>on ULg (à l’époque : 10ème dans le monde) Les références de TOUTES les publica>ons depuis 2002 de TOUS les membres de l’ULg doivent être déposées dans ORBi Pour TOUS les ar>cles de périodique depuis 2002, il faut également déposer le texte intégral sur ORBi Accès ouvert ou restreint en fonc9on de la poli9que de l’éditeur Obligatoire ? (ID/OA immediate deposit – op9onal access) Mais pas du tout ! C’est juste votre choix ! 😃 Avec un incitant fort... Seules les publica)ons reprises dans ORBi seront prises en compte dans toute procédure d’évalua)on, promo)on, a<ribu)on de crédit… …ORBi intervient donc directement dans l’évalua>on des chercheurs ! Quelles metrics ? • Impact factor = C N C = nombre de citations reçues par la revue venant d’articles publiés au cours des 2 dernières années N = nombre d’articles publiés par cette revue au cours des 2 dernières années (pour autant que le titre fasse partie des titres examinés par JCR !) En finir avec la tyrannie du IF pour l’évalua>on des chercheurs ? • Très nombreuses cri>ques – – – – – – – – – Prédominance linguis>que et culturelle Manque de transparence de sélec>on des >tres Défavorable par construc>on aux sciences à cycles longs Très lié aux caractéris>ques d’une discipline (nombre de chercheurs…) => pas de comparaison possible entre disciplines sinon percen>le Sensibilité TRES rela>ve (2 décimales ?!) Ingéniérerie des revues Effet d’auto-‐entraînement... Avec toutes les conséquences (concentra>on, explosion des prix…. Et développement OA !) … Niveau de granularité ! • Mais reste très largement u>lisé 😟 … souvent horriblement mal 😡 Des metrics au niveau de la revue A venir - Scopus En cours - Thomson Reuters • Impact factor – Le plus récent – Celui de l’année de publica>on • IF5 (idem que IF mais sur 5 ans) – Le plus récent – Celui de l’année de publica>on • Eigenfactor (basé sur JCR. « influence totale » du • Ar'cle Influence (= Eigenfactor divisé par le nombre d’ar9cles publiés dans ceSe revue) • IPP (Impact Per publica>on) (idem que IF mais sur 3 ans et sur données Scopus) • SJR (Scimago Journal Rank) (une variante Elsevier de Eigenfactor) • SNIP (Source Normalized Impact per Paper) (nombre moyen de cita9ons par journal = 9ent compte de importance des journaux qui citent. Sur 5 ans. Ajusté selon les disciplines. Re9re auto-‐cita9ons. Somme de tous les Eigenfactor = 100) ar9cle d’une revue divisé par le nombre moyen poten9el de cita9ons dans la discipline) Mais aussi Des metrics au niveau du document Ce qui compte, c’est avant tout ce que le chercheur a produit. Pas l’endroit où il l’a diffusé Vers des indicateurs moins indirects Des metrics au niveau du document Oui… mais à quel niveau ? Publié/diffusé Utilisé Découvert Accédé Nbre de références Nbre de views Nbre de downloads Lu Utilisé Cité Citations repérées par WoS, Scopus, Medline… Des metrics au niveau du document • Nombre de views • Nombre de downloads Views et downlaods : quelle portée ? A par>r du site de l'éditeur Par échanges mails A par>r d'autres fournisseurs d'accès BDB, JSTOR…) A par>r de pages WWW perso A par>r d'ORBi A par>r de photocopies, PEB…. Des metrics au niveau du document • Total Views/downloads = X + Y +… + ORBi • Enfin des donnés systéma>ques ! Très difficile/impossible d’avoir des données complètes et systéma>ques sur ces X, Y… (granularité, diversité…) • Présupposé : un certain niveau de corréla>on Stats ORBi sont un indicateur de l’ensemble des views et downloads …moins limitatif ! Uniquement « accès humains » « apparemment » simple, mais… Humains : 5,1 M 17% Spiders, bots… : 24,8 M Views : Origine des accès à ORBi sur 15 jours 179 pays différents 0 sept.-‐14 mai-‐14 janv.-‐14 sept.-‐13 mai-‐13 janv.-‐13 sept.-‐12 mai-‐12 janv.-‐12 sept.-‐11 mai-‐11 janv.-‐11 sept.-‐10 mai-‐10 janv.-‐10 sept.-‐09 mai-‐09 janv.-‐09 sept.-‐08 Téléchargements des documents (de 2008 à septembre 2014) 120000 100000 80000 60000 40000 20000 0 janv.-‐15 sept.-‐14 mai-‐14 janv.-‐14 sept.-‐13 mai-‐13 janv.-‐13 250000 sept.-‐12 300000 mai-‐12 janv.-‐12 sept.-‐11 mai-‐11 janv.-‐11 sept.-‐10 mai-‐10 janv.-‐10 sept.-‐09 mai-‐09 janv.-‐09 sept.-‐08 350000 Téléchargements des documents (de 2008 à mars 2015) En mars 2015 : +9300 downloads/jour ! 200000 150000 100000 50000 En Chine, les robots sont-‐ils aussi bridés ?! déc.-‐14 août-‐14 avr.-‐14 déc.-‐13 août-‐13 avr.-‐13 déc.-‐12 août-‐12 avr.-‐12 déc.-‐11 août-‐11 avr.-‐11 déc.-‐10 août-‐10 avr.-‐10 500 450 400 350 300 250 200 150 100 50 0 déc.-‐09 Évolu'on des téléchargements par mois de « Les décrets oraculaires pris en l’honneur d’Hénou<aouy et de Maatkarê (Xe et VIIe pylônes) » Des metrics au niveau du document • Nombre de views – Total – Venant de ULg • Nombre de downloads – Total – Venant de l’ULg • Nombre de cita>ons – Scopus – (Google Scholar 😟 ) • Par référence (visible par tous les membres ULg) • Nombre • Évolu9on • Pays d’origine • Par auteur (synthèse : par tous, détail pour auteur) • Top 20, top 100 • … Des metrics au niveau du document • Nombre de views – Total – Venant de ULg • Nombre de downloads – Total – Venant de l’ULg • Nombre de cita>ons • Par référence (visible par tous les membres ULg) • Nombre • Évolu9on • Pays d’origine • Par auteur (synthèse : par tous, détail pour auteur) • Top 20, top 100 • … – Scopus – (Google Scholar 😟 ) • Almetric : la visibilité web 2.0 – – – – – – Twi‚er Facebook Wikipedia Blogs Mendeley CiteUlike … • Pour papiers publiés après juillet 2011 • DOI seulement (handle en cours) Des metrics au niveau de l’ensemble de la produc>on scien>fique d’un auteur • Nombre de publica>ons ORBi, un indicateur réaliste de la produc>on scien>fique ULg ? Estimation totale avant ORBi Selon Scopus Selon WoS Selon Medline Nombre de publica>ons : Taux de compliance • Comparaison Scopus – ORBi (décembre 2012) : année 2011 • Comparaison WoS – ORBi (septembre 2013) : année 2012 Publis ULg dans WoS Publis ULg dans Scopus ORBi Étude internationale mars 2015 (Swan et al) : ORBi : 87% Des metrics au niveau de l’ensemble de la produc>on scien>fique d’un auteur • Nombre de publica>ons • H-‐index ou index de Jorge Hirsch (2005) ou le « nouveau Graal » H-‐index de ORBi H-‐index de Scopus x de e d n i H-‐ ine Medl H-‐index de WoS Nombre de cita'ons Un souhait d’absolu, une réalité toute rela9ve… de x e d H-‐in cholar le S H-‐index de Goog …. 250 200 H-‐index de 30 = au moins 30 publica>ons qui ont chacune au moins 30 cita>ons (dans l’ensemble considéré !) 150 100 Oh yes! What a high H-‐index I have! 50 0 Publica'ons Le tatami et la pédagogie subliminale Vous voulez des metrics ? En voici plus que vous ne l’espérez – Au niveau de la revue : • IF last, IF PY, IF5 last, IF5 PY, EigenFactor, Ar>cle influence • (IPP, SNIP, SJR) – Au niveau du document : • Views, Views ULg, Downloads Downloads ULg, Cita>ons Scopus, Almetrics • (Cita>ons Google Scholar, cita>ons ???) – Au niveau de l’ensemble de la produc>on scien>fique : • Nombre de publica>ons/communica>ons • H-‐index Donc rela'visons un peu ces indicateurs …et surtout retournons lire le document (OA ou RA) Impact de l’OA sur les cita>ons Mean number of cita'ons for a randomized sample of 2009 ULg references on Scopus Mean number of cita'ons for ALL 2007-‐2011 ULg references on WoS (n=351; data 2011) (n=7673; data January 2012) 8 8 7 7 6 6 5 5,915 7,046 5 4 4 3 3 2,957 2 2 1 1 0 0 References on ORBi 3,455 References NOT on ORBi References on ORBi Selon WoS : propor>on de références 2007-‐2011 jamais citées • Présentes sur ORBi : 28,9 % • Absentes sur ORBi : 55,8 % • Trouver variables parasites • Répéter analyse dans d’autres contextes References NOT on ORBi Impact de l’OA sur les cita>ons Nombre moyen de cita'ons Scopus par référence dans l’année de publica'on 0,9 0,8 0,7 0,6 Moyenne • 2003-‐2007 : 0,51 • 2008-‐2013 : 0,71 0,5 0,4 0,3 0,2 0,1 0 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 Avant ORBi Depuis ORBi Deux mots pour conclure… • • • • • Exploiter des metrics nouvelles En complément aux autres « indicateurs » Pour autant qu’elles soient de qualité Les RI : assurément un effet sur la visibilité ! Sans doute aussi sur les cita>ons • Mais l’essen>el de l’OA n’est pas là – Équité dans l’accès à l’informa>on – Perme‚re de « juger sur pièce » – Changer le mode d’accès à l’informa>on h‚p://orbi.ulg.ac.be [email protected] @PaulThir …Merci pour votre aSen9on Face aux défis de notre temps (Ebola, réchauffement climatique, crise financière, biodiversité…), il n’est pas normal que le développement du savoir soit encore freiné par des barrières économiques ! Un savoir enfermé est un savoir stérile ! Crédit photographique : Annie Roi
© Copyright 2024