Evaluation des travaux de la recherche - PowerPoint PPT Presentation

Loading...

PPT – Evaluation des travaux de la recherche PowerPoint presentation | free to download - id: 64f6eb-YzdiZ



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Evaluation des travaux de la recherche

Description:

et de l valuation scientifique Gabriel Gallezot Est consid r comme une production scientifique de rang A pour l AeRES : une publication dans une revue ... – PowerPoint PPT presentation

Number of Views:1
Avg rating:3.0/5.0
Date added: 13 March 2020
Slides: 63
Provided by: wikiurfis
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Evaluation des travaux de la recherche


1
Contexte de la production et de lévaluation
scientifique
Gabriel Gallezot
2
Plan
  • Usage de lIST par les chercheurs
  • La communication Scientifique
  • Lévaluation scientifique
  • appropriation  du numérique  et indicateurs
    émergents

3
Usage de linformation
Rechercher IR/épistémè

Les ressources
Types de documents
Formats de documents
Modalités daccès aux documents
4
Communication Scientifique (schéma dia suivante)
  • un processus au cœur de la recherche
  • le chemin "traditionnel" qu'emprunte l'IST
  • Montre les types de doc et les statuts des doc
  • Schéma bouleversé par
  • laccès réseaux
  • prod. numérique
  • les entrepôts numériques
  • --gt en terme rapidité et spectre documentaire

5
Communication scientifique modèle 70
Source Julie M. Hurd JASIST 51(14), 2000
6
Ex.  Code documentaire  pour lévaluation
ACL  Articles dans des revues internationales ou
nationales avec comité de lecture répertoriés
dans les bases de données internationales ACLN 
Articles dans des revues avec comité de lecture
non répertoriés dans des bases de données
internationales. ASCL  Articles dans des revues
sans comité de lecture, INV  Conférences
invité. ACT  Communications avec actes dans un
congrès international ou national COM 
Communications sans actes dans un congrès
international ou national AFF  Communications
par affiche dans un congrès international ou
national OS  Ouvrages scientifiques (ou
chapitres de ces ouvrages) OV  Ouvrages de
vulgarisation (ou chapitres de ces ouvrages)
DO  Directions douvrages AP  Autres
publications TH  Thèses soutenues Valorisation
et brevets  contrats de recherche, les
partenariats industriels,..
7
Cycle de l'édition
Rapport GFII sur le libre accès, janvier 2009
8
Contexte de la recherche
Cycle de linformation (usage de linformation et
production de résultats)?
Communication scientifique (diffusion des
résultats)?
Cycle de l'édition (publication des résultats)?
Acteurs Pairs Editeurs institutions
La question de lévaluation
9
La question de l'évaluation
10
Evaluation pour la publication Evaluation
qualitative a priori, le peer reviewing,
  • Auto-évaluation
  • Collègues de labo (évaluation)?
  • Direction de N (guest éditor) ou douvrage
    (sélection/évaluation)?
  • Comité de rédaction (sélection)?
  • Comité scientifique (évaluation)?
  • Editeur (évaluation/correction)?
  • Lecteur (évaluation)?

11
Publication pour lévaluation Evaluation
quantitative a posteriori, la bibliométrie
  • À lorigine Garfield et le Science Citation
    Index (SCI, 1961) de lInstitute for Scientific
    Information (ISI), puis JCR (1975)
  • Des référentiels Wos OST, ERIH, JQL, liste
    AeRES, Scopus, des bases (JournalBase), des
    listes
  • Des mesures Impact Factor, Classement de
    Shanghai, H index, Y index, G index, indicateurs
    OST, Leiden Facteurs
  • Des évaluations AeRES, CNU, Université,
  • Et dautres formes dévaluation et de mesures
    enquête SHS/CNRS, faculty of 1000, Citeseer,
    Citebase, schoolarvoir les diapos suivantes

12
Les dimensions de la recherche
Source Ph. Laredo, LATTS.doc N0 2003
13
Evaluer lactivité recherche ?
  • Pourquoi ? gt le pilotage (DGES, Univ, )
    orientation de la prod sc., répartition
    bugétaire, recrutement, financement, prime,
    modulation de service...
  • Comment ? quels référentiels ? quels
    indicateurs ?
  • Qui ? Quoi ? les chercheurs, les établissements
    , les revues, les programmes, ...
  • Par Qui ? Ost, Aeres, Cnu, Univ...
  • ? Un modèle prégnant
  • publication (article de revue) et valeur de
    cette publi. par la mesure des citations reçues
    par dautres publications (bibliométrie)
  • ? Un modèle dominant (STM) et quasi monopole de
    lanalyse et du référentiel (Thomson-reuter)

14
Quel(s) réfentiel(s) ?
  • -gt Examen des sources disponibles comme
    référentiel(s) possible(s) pour lévaluation ...
    WoS (Thomson-reuter), Scopus (Elsevier), Google
    Scholar, ... et après ???
  • Bases payantes Wos (SCI, SSCI,AHCI), Scopus
  • Bases  invisibles  interne institution,
    programme, ...
  • Bases  ouvertes  Pubmed, Common Chemistry,
    ...
  • Moteurs de recherche Scholar, Scirus, Scitopia,
    ...
  • AO co ArXiv, CiteSeer, institionnelle,
    revues.org, Cairn, Persée, HAL, Driver, Isidore,
    ...
  • Listes et références Aeres, ERIH, JQL, ...F1000
    JournalBase
  • Outils dinterfaçage / Mashup Eigenfactor,
    Scimago, SCEAS, Authoratory, Scival, Bibapp...
  • Web site labo, perso, programme, ...
  • Web2.0 Connotea, CiteUllike, Zotero, mendeley
    ... Postegenomic, hypothèse, ...

15
Quelle(s) Mesure(s) ?...
... pour l'essentiel, la quantification est
utilisée comme indicateur de qualité  La
meilleure façon de pousser les classements vers
le haut, c'est de tuer les sciences
humaines.  Il est largement accepté qu'une
grande lacune des classements, comme des
différentes bases bibliométriques tient à leur
incapacité à traduire avec exactitude et de
manière adaptée la manière dont les différentes
disciplines produisent et diffusent les
connaissances, et de plus en plus pour rendre
compte des retombées au-delà du périmètre
académique. 
Extraits
Exemples de mesures
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT
OCCASIONNEL No. 15
16
quelle(s) influences ?
  • ... malgré leur durée de vie relativement
    courte, est quil existe déjà des fortes preuves
    que les classements ont déjà un effet profond sur
    la prise de décisions et les comportements dans
    le monde de la recherche ce qui entraînera des
    conséquences pour la structure des systèmes et
    lorganisation des institutions. 
  • lapplication forcée à lenseignement supérieur
    de modalités de gouvernance, de gestion et de
    contrôle se revendiquant de lindustrie et du
    modèle RD où dailleurs elles sont loin
    davoir fait leurs preuves savère totalement
    inadéquate pour favoriser la qualité du travail
    denseignement-recherche et assurer la prise en
    charge du rôle de luniversité vis-à-vis de la
    société. 
  • la mise en concurrence des équipes de recherche
    et le scorage de leur activité napportent aucune
    ressource pour la qualité des savoirs produits et
    met gravement en difficulté des collectifs dont
    le travail est indispensable au développement des
    disciplines et au fonctionnement des
    universités. 
  • Il convient de changer radicalement la
    proportion de temps et dénergie consacrée à
    produire et transmettre des savoirs par rapport à
    celle vouée à justifier et évaluer pour permettre
    aux enseignants-chercheurs et aux équipes de se
    recentrer sur leurs missions fondamentales 

Extrait
Rapport Unesco 2009, Ellen Hazelko rn, RAPPOR T
OCCASIONNEL No. 15
Extrait
Motion 71e section CNU Pour Les Aesr
17
Les mesures
18
Exemples d'indicateurs mondiaux
(Etablissements) Une comparaison de ce que les
différents classements mesurent
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT
OCCASIONNEL No. 15
19
 Shangai  - critères
La qualité de l'enseignement (10 de
l'évaluation) Le critère Alumni ce critère
prend en compte le nombre de prix Nobel (hors
littérature et paix) et de médailles Fields
reçues par les anciens élèves ayant validé un
bachelor, un master ou un doctorat (les
distinctions les plus récentes valant plus de
points). La qualité de l'établissement (40 de
l'évaluation) Le critère Award ce critère
est lié au nombre de prix Nobel (toujours hors
littérature et paix) et de médailles Fields
obtenus cette fois-ci par les chercheurs (une
fois de plus le poids des chercheurs du début du
siècle est moins important que les chercheurs en
poste). Le critère HiCi le deuxième élément
utilisé pour mesurer la qualité de
l'établissement est le nombre de chercheurs les
plus cités dans leurs disciplines. Le volume
de publications scientifiques (40 de
l'évaluation) Le critère NS ce critère
classant prend en compte les articles publiés
dans les revues scientifiques Nature et
Science Le critère PUB il comptabilise
les articles indexés dans le Science Citation
Index , et le Arts Humanities Citation Index
. La taille de l'établissement (10 de
l'évaluation)
Source
20
Retour sur  Shanghai 
  • sensibiliser le monde universitaire à son
    positionnement international (dynamique)
  • 200X
  • Calculé sur les données du WoS qui présentent
    déjà de nombreux biais (notamment la langue, type
    de doc, qualité de la base, ...)
  • Pb multiples liés à laffiliation des chercheurs
    (institutions de rattachement, mixité des labos,
    articles en collaboration, émerite univ AltgtB, )
  • Pb de nos univ dans la mondialisation
    éparpillement , petites tailles,
    pluridisciplinaires,

21
Classement Leiden http//www.leidenranking.com/
  • Ce classement propose 2 types d' indicateurs 
    Impact et collaboration
  • Impact 
  • Le score moyen de citation (MCS) . Le nombre
    moyen de citations des publications de
    l'université.
  • Le score moyen citation normalisée (MNCS) . Le
    nombre moyen de citations des publications d'une
    université, compte tenu des différences sur le
    terrain, année de publication, et le type de
    document. Une valeur MNCS de 2, par exemple,
    signifie que les publications d'une université
    ont été cités 2 fois supérieur à la moyenne
    mondiale.
  • Proportion des  top  publications 10 (PP top
    10 ) . La proportion des publications d'une
    université qui, par rapport à d'autres
    publications similaires, appartiennent à la
    tranche supérieure de 10 les plus fréquemment
    cités. (indicateur le plus stable)

22
Classement Leiden (suite)
Collaboration Proportion des publications de
collaboration (PP collab ) . La proportion des
publications d'une université qui ont été
co-écrit avec un ou plusieurs autres
organisations. Proportion publications
internationales de collaboration (PP int collab )
. La proportion des publications d'une université
qui ont été co-écrit par deux ou plusieurs
pays. La distance moyenne collaboration
géographique (MGCD) . La collaboration à distance
géographique moyenne des publications d'une
université Proportion des publications à longue
distance de collaboration (PP gt 1000 km ) . La
proportion des publications d'une université qui
ont une distance géographique de la collaboration
de plus de 1000 km.
23
Zones, pays, régions
OST  Observatoire des Sciences et techniques.
Incateurs pour la france
indice dimpact  c'est le rapport de la part
mondiale de citations sur la part mondiale de
publications
24
Zones, pays, régions
  • Part de publications scientifiques
  • Indice de spécialisation scientifique
  • Part de citations
  • Indice dimpact relatif
  • Indice dimpact espéré
  • Ratio de citations relatif
  • Indice dactivité par classe de citations
  • Part darticles en co-publication

Les 8 indicateurs de lOST
Ex. Rapport OST 2010
Source
25
Facteur dimpact
Revues
  • ISI calcule le facteur dimpact dune revue de la
    façon suivante
  • Le nombre total de citations faites en 2004
    darticles publiés au cours des deux années
    précédentes (2002 2003) est divisé par le
    nombre total darticles publiés au cours des deux
    années précédentes

1630 523
Citations en 2004 déléments publiés en 2002 et
2003 Nombre total darticles publiés en 2002 et
2003
3.117

Source ISI thomson
26
  • H index Jorge E. Hirsch (2005) . Relation entre
    un nombre total de publications et leurs
    citations gt coïncidence approximative entre un
    nombre équivalent de publications et de
    citations.
  • Ex h index 10 gt environ 10 publications
    citées au moins 10 fois
  • G index Egghe, Leo (2006) un g-index de 10 gt
    10 papiers dont la somme des citations est au
    moins de 100
  • A- index, H-b index , scHolar index,
  • Démo avec POP ou Tenurometer ou google scholar
    citation

h index et variantes
CHERCHEUR
27
ISIHighlyCited.com
 an expert gateway to the most highly
influential scientists and scholars worldwide 
 ISIHighlyCited.com highlights the top 250
preeminent individual researchers in each of 21
subject categories who have demonstrated great
influence in their field as measured by citations
to their work 
CHERCHEUR
28
Exemple de H-index pour un auteur
  • Pouyssegur J
  • ( le seul ISIHighlyCited pour l'UNS )

Scholarometer Google scolar
Scopus
WOK
29
facteur y
  • tient compte de la distinction entre les deux
    notions de popularité et de prestige .
    Cest le produit de  ISI IF and Weighted
    PageRank 

30
Retraction index
  • Nouvel indicateur, le  retraction index  
    Fang, Ferric C., et Arturo Casadevall. 2011.
     Retracted Science and the Retraction Index .
    Infection and Immunity 79(10) 3855-3859.

Correlation entre L'IF et le retractation index
Voir le blog sur les articles  retirés 
31
  • La fraude  annoncée  de plus en plus importe 
    Fang, Ferric C., R. Grant Steen, et Arturo
    Casadevall. 2012.  Misconduct accounts for the
    majority of retracted scientific publications .
    Proceedings of the National Academy of Sciences.
  • Et Pierre Barthélémy,  passeurdesciences 
  • http//passeurdesciences.blog.lemonde.fr/2012/10/0
    3/la-fraude-scientifique-est-plus-repandue-recherc
    he/

Voir  l'outil pour les articles similaires.
" l'augmentation des rétractions et des
manquements à l'éthique peut résulter, au moins
en partie, du système de la science au résultat,
basé sur la logique économique de la prime au
vainqueur, qui confère au premier des récompenses
disproportionnées, sous la forme de subventions,
de postes et de prix, à une période où le
financement de la recherche se restreint ".
32
Les instances d'évaluation
33
Êtes-vous  publiant  ? selon lAERES (doc
2007) http//wiki-urfist.unice.fr/wiki_urfist/ima
ges/7/7d/Criteres_Identification_Publiants.pdf
AeRES remplacée par une nouvelle  agence  
Haut Conseil à l'évaluation gt HCERES Missions
en cours de définition
Lactivité dune unité de recherche fait lobjet
dune appréciation qualitative, fondée
principalement sur lévaluation par les pairs,
complétée par un certain nombre dindicateurs
aussi objectifs que possible. A lestimation
globale de la qualité de la production
scientifique et du rayonnement dun laboratoire,
sajoute la prise en considération de
lorganisation et de la répartition des travaux
entre ses membres. Lun des indicateurs est une
estimation de la proportion des chercheurs et
enseignants-chercheurs "publiants".
Production Scientifique de rang A pour 4 ans Scu
Liste revues AeRES
Peut-être de nouveaux critères ?, selon les
recommandations de lAcademie des Sciences au MESR
34
Est considéré comme une production scientifique
de rang A pour lAeRES
une publication dans une revue internationale
avec comité de lecture (ou une revue considérée
comme de très bon niveau par la communauté dans
certaines disciplines), un chapitre d'ouvrage
ou un ouvrage de recherche reconnu
internationalement (ou de portée nationale en
SHS), pour le secteur STIC ou SHS, un article
long dans un congrès international à comité de
sélection considéré comme sélectif par la
communauté, pour le secteur SHS, la
constitution de bases de données accessibles ou
de corpus de référence, les éditions critiques
un brevet déposé à l'international. Il est
clair que la participation à des colloques est un
indice de l'activité scientifique mais la très
grande variabilité qualitative de l'évaluation
des actes des colloques ne permet pas de les
retenir comme élément pertinent d'appréciation.
35
Evaluation Labo par lAERES (4 volets de la
notation)
  • Qualité scientifique et production (qualité et
    quantité des publis)
  • Rayonnement et attractivité, intégration dans
    l'environnement (relations internationales,
    contrats nationaux, prix, ...)
  • Stratégie, gouvernance et vie du laboratoire
    (implication dans luniv, politique de
    recrutement, ...
  • Appréciation du projet (analyse du
     quadriennal )

36
CNU
Voir site CP- CNU qualification et
recommandation de chaque section
37
Les études et rapports sur d'évaluation
38
Principales Recommandations pour Lévaluation
individuelle des chercheurs et des
enseignants-chercheurs en sciences exactes et
expérimentales (Rapport Academie des Sciences du
8 juillet 2009 au MESR)
Pour une déontologie incontestable 1 -Assurer la
qualité des évaluateurs à partir de pré-requis
définis par l'AERES 2 -Imposer une déclaration
obligatoire des conflits d'intérêt directs et
indirects, signée par les évaluateurs, et
remplacement au sein du comité si nécessaire 3
-Limiter la durée des mandats à trois ans avec
rotation annuelle par tiers pour dissocier les
lobbies Évaluation de lactivité de recherche
4 -Réaffirmer la valeur primordiale de
l'évaluation directe des travaux scientifiques à
partir des publications originales et
éventuellement dauditions
39
...suite
5 -Encadrer la bibliométrie en s'assurant quelle
soit utilisée de façon rigoureuse, en évitant
tous les biais trop souvent négligés, en adaptant
les indicateurs selon les disciplines, et en
lintégrant à lévaluation qualitative.
Encourager le développement dune recherche
critique de nouveaux indicateurs 6 -Donner la
place qu'elle mérite à la recherche appliquée
pour ceux qui s'y consacrent 7 -Prendre en
considération les critères objectifs de notoriété
scientifique nationale et internationale
Évaluation de lactivité denseignement 8
-Etablir une grille d'évaluation de
l'enseignement en donnant une large place à
lappréciation des étudiants 9 -Intégrer des
critères objectifs tels que le contenu et
loriginalité de lenseignement ou la production
douvrages pédagogiques Évaluation des charges
dintérêt collectif 10 -Prendre en compte les
charges dintérêt collectif, plus
particulièrement celles impliquant des
responsabilités importantes
40
...suite
Autres mesures importantes 11 -Réduire le nombre
des évaluations au strict nécessaire, en
distinguant les évaluations approfondies
(recrutements et autres étapes-clés de la
carrière), des évaluations de suivi 12 -Procéder
aux recrutements en deux étapes admissibilité
sur dossier, admission après audition et examen
approfondis 13 -Toute évaluation ne doit être
entreprise que si elle peut conduire à des
conséquences significatives pour lintéressé.
Créer des structures de ressources humaines en
vue dune aide à une évolution de la carrière des
personnels en difficulté 14 -Bien mettre en
perspective le rôle de lévaluation nationale
(essentielle pour lactivité de recherche) et de
lévaluation locale (la mieux placée pour
lévaluation de lenseignement et celle des
charges dintérêt collectif) en veillant
néanmoins à ce que les structures locales
dévaluation incluent un pourcentage suffisant
dexperts extérieurs.
41
Rapport Académie des Sciences 17 janvier 2011
DU BON USAGE DE LA BIBLIOMETRIE POUR
L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS
 Lévaluation individuelle des chercheurs reste
très subjective et soumise à de nombreux biais
potentiels. LAcadémie a souhaité se pencher sur
les pratiques bibliométriques quantitatives
censées être plus objectives, et émettre un
certain nombre de recommandations sur lusage de
la bibliométrie qui pourrait, moyennant le
respect de règles rigoureuses, aider à
lévaluation qualitative. Ces règles devraient
être reconnues à un niveau au moins européen. Le
problème est dautant moins simple que
lévaluation bibliométrique fait débat, avec des
avis souvent tranchés pour ou contre son
utilisation, dépendant en grande partie, mais pas
seulement, des disciplines. 
Voir aperçu du rapoort en PDF -gt les quelques
points surlignés
42
Rapport de LInria 2007
  • Les indicateurs sont des instruments de mesure
    importants mais qui doivent être utilisés de
    manière éclairée en respectant des règles de base
  • Les indicateurs actuels sont essentiellement des
    facteurs d'impact ce qui n'est pas synonyme de
    qualité.
  • Il faut simplement s'attacher aux ordres de
    grandeur des indicateurs car même l'utilisation
    de sources diverses ne permet pas d'obtenir une
    grande précision.
  • Il est nécessaire de corriger les indicateurs par
    l'avis d'experts.
  • Il est nécessaire d'utiliser plusieurs
    indicateurs.
  • Il est nécessaire de recouper des sources
    diverses pour obtenir une information pertinente.

43
JournalBase Une étude et un futur référentiel
?
  • 5 bases sont étudiées. Les bases SSCI (2012
    revues) et AHCI (1166 revues) du WOS
    (Thomson-reuter) comportent (en 2009) quelques
    3178 revues, quand Scopus, base dElsevier en
    recense 6200, lERIH liste 5200 titres, et
    lAERES en dénombre 6000.
  • journalbase, résultats de la concordance et de la
    curation des 5 bases, recense 9551 revues
    différentes en SHS
  • ... La suite sur

44
(re)penser l'évaluation
45
Appropriation du  numérique 
  • (re)penser
  • le cycle de linfo
  • la communication scientifique
  • lévaluation de la recherche

46
Source JimGray, 4thParadigm, 2009
eScience
  • Appropriation des technologies, pratiques
    informationnelles nouvelles ou renouvelées
    (diffusion et accès)
  • Data deluge Big data Open data data
    curation
  • Gain de productivité ? (bouclage rapide du cycle)
  • Gain de créativité ? (tertiarisation
    documentaire)

47
Production scientifique et compartimentation des
savoirs ...vers linterdisplinarité
  • Spécialisation de la R
  • Évaluation de la R
  • gt accroissement de la Pub. Sc. (données,
    textes, revues, etc)?
  • Il faut
  • Mieux connecter
  • Mieux partager
  • Ouvrir le spectre documentaire
  • La KDD

Daprès Swanson (1986)?
48
Communication scientifique modèle 2020
Source Julie M. Hurd JASIST 51(14), 2000
49
Une histoire de la communication scientifique
dispositif de publication renouvelé
micro-ordinateur
A partir de   GUÉDON, J. (2001). In Oldenburg's
Long Shadow Librarians, Research Scientists,
Publishers, and the Control of Scientific
Publishing. In Creating the Digital Future
Association of Research Libraries,138th Annual
Meeting, Toronto, Ontario (Canada), May 23-25,
2001.
50
Indicateurs émergents ? IF, Shanghai, h index et
quoi dautre ?
  • gt Des spécificités pour les domaines Sc.
  • Par ex. SHS
  • Importance Revues/Ouvrages ?
  • Internationnalisation des disciplines ?
  • gt Des pistes (les dia. suivantes)
  • Système dinformation (SI) local
  • Interfaçage / Mashup
  • visibilité internationale des références hors
    marché de linformation le scholar web (AO,
    outils spécialisés,)

51
SI local ?
  • Système dInformation (SI) local (global ?)
    ? imposé par la LOLF (indicateurs dactivités)
  • Ex. sur Unice CRI/DRED système SIRIUS (GRAAL)
  • Ex. sur lINRA ProdInra
  • Connexions des entrepôts dinformations nationaux
    et locaux (AO institutionelles notamment)
  • Pour luniv ses propres indicateurs au regard
    de ceux proposés par Ost
  • Toutes les refs peuvent êtres prises en
    considération (autre référentiel)
  • Interopérabilité des SI constitution de BdD
    disciplinaires en France, connectivité avec
    dautres BdD (HAL, ) (Cf. IRRA/RAE en Uk)

52
Interfaçage / Mashup
  • gtgt des outils de croisement de référentiels, pour
    mesures ou visualisation différentes.
  • SCEAS System (DBLP)
  • SCImago (Scopus - Elsevier)
  • Eigenfactor (JCR)
  • Authoratory (Pubmed)
  • Scival (Elsevier) (voir .flv)
  • ...

53
Le  scholar web  ISI factor vs. web factor
  • Référencement établi vs. visibilité
  • usage/accès aux BdD commerciales vs. usage/accès
    généralisé/libre
  • Evaluation maîtrisée par une méthode et une
    entreprise vs. une multitude dévaluations,
    méthodes, projets, ...
  • Publier autrement , relation Open access -
    evaluation (voir enquête DOAJ-gtJCR (SNIP scimago
    gt env. 10 des revues)
  • Déjà à lœuvre CiteBase, Citeseer, Scholar
    google, webometric, clickstream, F1000, enquête
    (dia suivante)
  • De lOpen Peer Review au Peer commentary de la
    levée de lanonymat des pairs évaluateurs aux
    commentaires de la communautés (avant, après, à
    la place)

54
Autres indicateurs
  • Citebase, 1999, rapport téléchargements/citations
  • Citeseer, Associations des refs, commentaires et
    votes
  • F1000, 2002,  groupes qualités 
  • IRRA (2005, Institutional Repositories and
    Research Assessment), RAE Software for
    Institutional Repositories
  • Google citation,
  • FiveStars pour une revue
  • Ranking web (2006 - CSIC)
  • principe du Clickstream (cf. dia suivante)

55
Clickstream
Source  http//ww.plosone.org/article/info3Adoi
2F10.13712Fjournal.pone.0004803
It visualizes the collective flow of how
information seekers move from one journal to
another in their online navigation behavior
56
Altmetrics http//altmetrics.org/manifesto/
 In growing numbers, scholars are moving their
everyday work to the web. Online reference
managers Zotero and Mendeley each claim to store
over 40 million articles (making them
substantially larger than PubMed) as many as a
third of scholars are on Twitter, and a growing
number tend scholarly blogs 
  •  Une mesure de l'impact de la production
    scientique 
  • - pas seulement le texte complet mais aussi des
     bouts  de texte
  • - accompagne les autres métriques
  • - ex  http//readermeter.org , plos-one, utopia
    (dia suivantes)

57
(No Transcript)
58
Utopia document augmenté
Altmetrics
59
Bookmarklet Altmetric
  • http//www.altmetric.com/bookmarklet.php

- The bookmarklet only works on Pubmed, arXiv or
pages containing a DOI - It only supports
publishers who embed Google Scholar friendly
citation metadata on their pages by default,
though we're adding support for others. - You can
hurry along support for a particular journal by
asking _at_altmetric for it on Twitter - Twitter
mentions are only available for articles
published since July 2011 - If Altmetric started
supporting a publisher after July 2011 then
twitter mentions are only available from that
date onwards
60
Nouveaux modes dévaluation de la recherche ?
En guise de conclusion
Un nouveau modèle de la publication Scientifique
entraînera de nouveaux modes dévaluation de la
recherche (y compris selon le principe de
citation),...(dautre lieux de publication,
dautres lieux de citations, etc... cf.
Altmetrics par exemple )
61
Quelques éléments bibliographiques
  • Biblio selective du cirad  http//coop-ist.cirad.
    fr/aide-a-la-publication/evaluer-la-recherche/indi
    cateurs-de-publication-bibliographie/introduction
  • Groupe Diigo du Réseau des Urfist 
    http//groups.diigo.com/group/scientometrics
  • Cours "bibliométrie" Manuel Durand-Barthez
    http//wiki-urfist.unice.fr/wiki_urfist/index.php/
    BIBLIOMETRIE
  • et la page dédiée aux notions de IF et Citations
    http//www.scd.ups-tlse.fr/barthez/liens_citat.h
    tm

62
Vos questions
?
About PowerShow.com