Evaluation des travaux de la recherche - PowerPoint PPT Presentation

Loading...

PPT – Evaluation des travaux de la recherche PowerPoint presentation | free to download - id: 64f6ee-ZTc4Y



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Evaluation des travaux de la recherche

Description:

et de l valuation scientifique Gabriel Gallezot 2012 * * * * * * * * * * * * * * * * * Que reproche-t-on au Peer-reviewing ? les experts sont anonymes ce qui ... – PowerPoint PPT presentation

Number of Views:1
Avg rating:3.0/5.0
Date added: 18 March 2020
Slides: 65
Provided by: wikiurfis
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Evaluation des travaux de la recherche


1
Contexte de la production et de lévaluation
scientifique
Gabriel Gallezot 2012
2
Plan
  • Usage de lIST par les chercheurs
  • La communication Scientifique
  • Lévaluation scientifique
  • appropriation  du numérique  et indicateurs
    émergents

3
Usage de linformation
Rechercher IR/épistémè

Les ressources
Types de documents
Formats de documents
Modalités daccès aux documents
4
Communication Scientifique (schéma dia suivante)
  • un processus au cœur de la recherche
  • le chemin "traditionnel" qu'emprunte l'IST
  • Montre les types de doc et les statuts des doc
  • Schéma bouleversé par
  • laccès réseaux
  • prod. numérique
  • les entrepôts numériques
  • --gt en terme rapidité et spectre documentaire

5
Communication scientifique modèle 70
Source Julie M. Hurd JASIST 51(14), 2000
Lien vers 2020
6
Ex.  Code documentaire  pour lévaluation
ACL  Articles dans des revues internationales ou
nationales avec comité de lecture répertoriés
dans les bases de données internationales ACLN 
Articles dans des revues avec comité de lecture
non répertoriés dans des bases de données
internationales. ASCL  Articles dans des revues
sans comité de lecture, INV  Conférences
invité. ACT  Communications avec actes dans un
congrès international ou national COM 
Communications sans actes dans un congrès
international ou national AFF  Communications
par affiche dans un congrès international ou
national OS  Ouvrages scientifiques (ou
chapitres de ces ouvrages) OV  Ouvrages de
vulgarisation (ou chapitres de ces ouvrages)
DO  Directions douvrages AP  Autres
publications TH  Thèses soutenues Valorisation
et brevets  contrats de recherche, les
partenariats industriels,..
7
Cycle de l'édition
Rapport GFII sur le libre accès, janvier 2009
8
Contexte de la recherche
Cycle de linformation (usage de linformation et
production de résultats)?
Communication scientifique (diffusion des
résultats)?
Cycle de l'édition (publication des résultats)?
Acteurs Pairs Editeurs institutions
La question de lévaluation
9
La question de l'évaluation
10
Evaluation pour la publication Evaluation
qualitative a priori, le peer reviewing,
  • Auto-évaluation
  • Collègues de labo (évaluation)?
  • Direction de N (guest éditor) ou douvrage
    (sélection/évaluation)?
  • Comité de rédaction (sélection)?
  • Comité scientifique (évaluation)?
  • Editeur (évaluation/correction)?
  • Lecteur (évaluation)?

11
Publication pour lévaluation Evaluation
quantitative a posteriori, la bibliométrie
  • À lorigine Garfield et le Science Citation
    Index (SCI, 1961) de lInstitute for Scientific
    Information (ISI), puis JCR (1975)
  • Des référentiels Wos OST, ERIH, JQL, liste
    AeRES, Scopus, des bases (JournalBase), des
    listes
  • Des mesures Impact Factor, Classement de
    Shanghai, H index, Y index, G index, indicateurs
    OST, Leiden Facteurs
  • Des évaluations AeRES, CNU, Université,
  • Et dautres formes dévaluation et de mesures
    enquête SHS/CNRS, faculty of 1000, Citeseer,
    Citebase, schoolarvoir les diapos suivantes

12
Publication pour lévaluation Evaluation
quantitative a posteriori, la bibliométrie
  • À lorigine Garfield et le Science Citation
    Index (SCI, 1961) de lInstitute for Scientific
    Information (ISI), puis JCR (1975)
  • Des référentiels Wos OST, ERIH, JQL, liste
    AeRES, Scopus, des bases (JournalBase), des
    listes
  • Des mesures Impact Factor, Classement de
    Shanghai, H index, Y index, G index, indicateurs
    OST, Leiden Facteurs
  • Des évaluations AeRES, CNU, Université,
  • Et dautres formes dévaluation et de mesures
    enquête SHS/CNRS, faculty of 1000, Citeseer,
    Citebase, schoolarvoir les diapos suivantes

13
Source Ph. Laredo, LATTS.doc N0 2003
14
Evaluer lactivité recherche ?
  • Pourquoi ? gt le pilotage (DGES, Univ, )
    orientation de la prod sc., répartition
    bugétaire, recrutement, financement, prime,
    modulation de service...
  • Comment ? quels référentiels ? quels
    indicateurs ?
  • Qui ? Quoi ? les chercheurs, les établissements
    , les revues, les programmes, ...
  • Par Qui ? Ost, Aeres, Cnu, Univ...
  • ? Un modèle prégnant
  • publication (article de revue) et valeur de
    cette publi. par la mesure des citations reçues
    par dautres publications (bibliométrie)
  • ? Un modèle dominant (STM) et quasi monopole de
    lanalyse et du référentiel (Thomson-reuter)

15
Quel(s) réfentiel(s) ?
  • -gt Examen des sources disponibles comme
    référentiel(s) possible(s) pour lévaluation ...
    WoS (Thomson-reuter), Scopus (Elsevier), Google
    Scholar, ... et après ???
  • http//wiki-urfist.unice.fr/wiki_urfist/index.php/
    Contexte_de_la_production_et_de_l27C3A9valuatio
    n_Scientifique
  • Bases payantes Wos (SCI, SSCI,AHCI), Scopus
  • Bases  invisibles  interne institution,
    programme, ...
  • Bases  ouvertes  Pubmed, Common Chemistry,
    ...
  • Moteurs de recherche Scholar, Scirus, Scitopia,
    ...
  • AO co ArXiv, CiteSeer, institionnelle,
    revues.org, Cairn, Persée, HAL, Driver, Isidore,
    ...
  • Listes et références Aeres, ERIH, JQL, ...F1000
    JournalBase
  • Outils dinterfaçage / Mashup Eigenfactor,
    Scimago, SCEAS, Authoratory, Scival, Bibapp...
  • Web site labo, perso, programme, ...
  • Web2.0 Connotea, CiteUllike,Zotero, mendeley
    ... Postegenomic, hypothèse, ...

16
Quelle(s) Mesure(s) ?...
... pour l'essentiel, la quantification est
utilisée comme indicateur de qualité  La
meilleure façon de pousser les classements vers
le haut, c'est de tuer les sciences
humaines.  Il est largement accepté qu'une
grande lacune des classements, comme des
différentes bases bibliométriques tient à leur
incapacité à traduire avec exactitude et de
manière adaptée la manière dont les différentes
disciplines produisent et diffusent les
connaissances, et de plus en plus pour rendre
compte des retombées au-delà du périmètre
académique. 
Extraits
Exemples de mesures http//www.universityrankin
gs.ch/fr/
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT
OCCASIONNEL No. 15
17
quelle(s) influences ?
  • ... malgré leur durée de vie relativement
    courte, est quil existe déjà des fortes preuves
    que les classements ont déjà un effet profond sur
    la prise de décisions et les comportements dans
    le monde de la recherche ce qui entraînera des
    conséquences pour la structure des systèmes et
    lorganisation des institutions. 
  • lapplication forcée à lenseignement supérieur
    de modalités de gouvernance, de gestion et de
    contrôle se revendiquant de lindustrie et du
    modèle RD où dailleurs elles sont loin
    davoir fait leurs preuves savère totalement
    inadéquate pour favoriser la qualité du travail
    denseignement-recherche et assurer la prise en
    charge du rôle de luniversité vis-à-vis de la
    société. 
  • la mise en concurrence des équipes de recherche
    et le scorage de leur activité napportent aucune
    ressource pour la qualité des savoirs produits et
    met gravement en difficulté des collectifs dont
    le travail est indispensable au développement des
    disciplines et au fonctionnement des
    universités. 
  • Il convient de changer radicalement la
    proportion de temps et dénergie consacrée à
    produire et transmettre des savoirs par rapport à
    celle vouée à justifier et évaluer pour permettre
    aux enseignants-chercheurs et aux équipes de se
    recentrer sur leurs missions fondamentales 

Extrait
Rapport Unesco 2009, Ellen Hazelko rn, RAPPOR T
OCCASIONNEL No. 15
Extrait
Motion 71e section CNU Pour Les Aesr
18
Les mesures
19
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT
OCCASIONNEL No. 15
Exemples d'indicateurs mondiaux
(Etablissements) Une comparaison de ce que les
différents classements mesurent
Système de classement Indicateurs Pondération
Classement Académique des Universités Mondiales SJT  SHANGAI  (Cf dia suivante) Qualité de lenseignement Qualité des membres du corps professoral Nombre de Prix Nobel / Médailles Fields Nombre de chercheurs les plus cités ( HiCi ) Production de la Recherche Nombre dArticles dans  Nature/Science  Nombre dArticles dans le  Citation Index  Taille de lInstitution 10 20 20 20 20 10
Classement Mondial des Universités de Times QS  THE- QS  Évaluation par les Pairs Employabilité des Diplômés Qualité de lenseignement / rapport élèves-enseignants Étudiants Internationaux Personnel enseignant international Qualité de la Recherche / Citations par Faculté 40 10 20 5 5 20
Classement des Performances des Articles Scientifiques pour Universités de Recherche  Taiwan  Productivité de la Recherche Nombre d'Articles dans les 11 dernières années Nombre d'Articles dans lannée en cours. Impact de la Recherche Nombre de Citations dans les 11 dernières années Nombre de Citations dans les 2 dernières années Nombre moyen de Citations dans les 11 dernières années Excellence de la Recherche Classement HiCi des 2 dernières années Nombre darticles HiCi dans les 10 dernières années Nombre dArticles dans des Revues à fort facteur dimpact Nombre de disciplines dans lesquelles lUniversité fait preuve dExcellence 10 10 10 10 10 20 10 10 10
20
 Shangai  - critères
La qualité de l'enseignement (10 de
l'évaluation) Le critère Alumni ce critère
prend en compte le nombre de prix Nobel (hors
littérature et paix) et de médailles Fields
reçues par les anciens élèves ayant validé un
bachelor, un master ou un doctorat (les
distinctions les plus récentes valant plus de
points). La qualité de l'établissement (40 de
l'évaluation) Le critère Award ce critère
est lié au nombre de prix Nobel (toujours hors
littérature et paix) et de médailles Fields
obtenus cette fois-ci par les chercheurs (une
fois de plus le poids des chercheurs du début du
siècle est moins important que les chercheurs en
poste). Le critère HiCi le deuxième élément
utilisé pour mesurer la qualité de
l'établissement est le nombre de chercheurs les
plus cités dans leurs disciplines. Le volume
de publications scientifiques (40 de
l'évaluation) Le critère NS ce critère
classant prend en compte les articles publiés
dans les revues scientifiques Nature et
Science Le critère PUB il comptabilise
les articles indexés dans le Science Citation
Index , et le Arts Humanities Citation Index
. La taille de l'établissement (10 de
l'évaluation)
Source
21
Retour sur  Shanghai 
  • sensibiliser le monde universitaire à son
    positionnement international (dynamique)
  • 200X http//www.arwu.org/
  • Calculé sur les données du WoS qui présentent
    déjà de nombreux biais (notamment la langue, type
    de doc, qualité de la base, ...)
  • Pb multiples liés à laffiliation des chercheurs
    (institutions de rattachement, mixité des labos,
    articles en collaboration, émerite univ AltgtB, )
  • Pb de nos univ dans la mondialisation
    éparpillement , petites tailles,
    pluridisciplinaires,

22
Classement Leiden http//www.leidenranking.com/
  • Ce classement propose 2 types d' indicateurs 
    Impact et collaboration
  • Impact 
  • Le score moyen de citation (MCS) . Le nombre
    moyen de citations des publications de
    l'université.
  • Le score moyen citation normalisée (MNCS) . Le
    nombre moyen de citations des publications d'une
    université, compte tenu des différences sur le
    terrain, année de publication, et le type de
    document. Une valeur MNCS de 2, par exemple,
    signifie que les publications d'une université
    ont été cités 2 fois supérieur à la moyenne
    mondiale.
  • Proportion des  top  publications 10 (PP top
    10 ) . La proportion des publications d'une
    université qui, par rapport à d'autres
    publications similaires, appartiennent à la
    tranche supérieure de 10 les plus fréquemment
    cités. (indicateur le plus stable)

23
Classement Leiden (suite) http//www.leidenranking
.com/
Collaboration Proportion des publications de
collaboration (PP collab ) . La proportion des
publications d'une université qui ont été
co-écrit avec un ou plusieurs autres
organisations. Proportion publications
internationales de collaboration (PP int collab )
. La proportion des publications d'une université
qui ont été co-écrit par deux ou plusieurs
pays. La distance moyenne collaboration
géographique (MGCD) . La collaboration à distance
géographique moyenne des publications d'une
université Proportion des publications à longue
distance de collaboration (PP gt 1000 km ) . La
proportion des publications d'une université qui
ont une distance géographique de la collaboration
de plus de 1000 km.
24
OST (Observatoir des Sciences et techniques)
Incateurs pour la france
...
G. Filiatreau
25
Etablissements
  • Part de publications scientifiques
  • Indice de spécialisation scientifique
  • Part de citations
  • Indice dimpact relatif
  • Indice dimpact espéré
  • Ratio de citations relatif
  • Indice dactivité par classe de citations
  • Part darticles en co-publication

Les 8 indicateurs de lOST
Ex. IPERU Programme 150 de la LOLF  formations
supérieurs et recherches universitaire Indicateurs
 part mondiale de publications  et  indices
dimpact à 2 ans  par discipline, pour les
sciences de la matière et sciences de la nature
et de la vie
Chiffre de 2008
Source
26
Types d'indicateurs Nationaux pour lévaluation
de la recherche
Indicateurs utilisés pour évaluer la recherche Système de classement (pays)
Total des financements (somme dargent) Slovaquie
Financements par université (somme dargent) Autriche, Allemagne, Italie
Financements par université (nombre absolu) Italie
Projets de recherche financés par lUnion Européen (UE) Italie
Nombre de publications Suède
Publications par chercheur Allemagne, Slovaquie, Suisse
Citations par université Royaume-Uni
Citations par publication Allemagne, Slovaquie, Suisse
Pourcentage darticles cités dans les deux premières années suivant leur publication Suède
Pourcentage darticles classés dans les premier 5 des articles les plus cités (HiCi) Suède
Nombre de brevets (nombre absolu) Allemagne
Brevets par université Allemagne
Rapport détudiants chercheurs de troisième cycle Royaume-Uni
Qualité de la recherche Allemagne, Royaume-Uni
Réputation de la recherche Autriche, Allemagne
Extrait
Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT
OCCASIONNEL No. 15
27
Facteur dimpact
Revues
  • ISI calcule le facteur dimpact dune revue de la
    façon suivante
  • Le nombre total de citations faites en 2004
    darticles publiés au cours des deux années
    précédentes (2002 2003) est divisé par le
    nombre total darticles publiés au cours des deux
    années précédentes

1630 523
Citations en 2004 déléments publiés en 2002 et
2003 Nombre total darticles publiés en 2002 et
2003
3.117

Source ISI thomson
28
  • H index Jorge E. Hirsch (2005)
    www.pnas.org/cgi/doi/10.1073/pnas.0507655102.
    Relation entre un nombre total de publications et
    leurs citations gt coïncidence approximative entre
    un nombre équivalent de publications et de
    citations.
  • Ex h index 10 gt environ 10 publications
    citées au moins 10 fois
  • G index Egghe, Leo (2006) http//dx.doi.org/10.1
    0072Fs11192-006-0144-7 un g-index de 10 gt 10
    papiers dont la somme des citations est au moins
    de 100
  • A- index, H-b index , scHolar index,
  • Démo avec POP ou ScholarIndex ou Tenurometer ou
    google citation http//insitu.lri.fr/roussel/proj
    ects/scholarindex/ http//scholarometer.indiana.ed
    u/

h index et variantes
CHERCHEUR
29
ISIHighlyCited.com
 an expert gateway to the most highly
influential scientists and scholars worldwide 
http//isihighlycited.com/
 ISIHighlyCited.com highlights the top 250
preeminent individual researchers in each of 21
subject categories who have demonstrated great
influence in their field as measured by citations
to their work 
CHERCHEUR
30
Exemple de H-index pour un auteur
  • Pouyssegur J
  • ( ISIHighlyCited pour l'UNS )

Scholarometer Google scolar
Scopus
WOK
31
facteur y
  • tient compte de la distinction entre les deux
    notions de popularité et de prestige .
    Cest le produit de  ISI IF and Weighted
    PageRank 

32
Retraction index
  • Nouvel indicateur le  retraction index  
    Fang, Ferric C., et Arturo Casadevall. 2011.
     Retracted Science and the Retraction Index .
    Infection and Immunity 79(10) 3855-3859.

Correlation entre L'IF et le retractation index
Voir le blog http//retractionwatch.wordpress.com
/ sur les articles  retirés 
33
  • La fraude  annoncée  de plus en plus importe 
    Fang, Ferric C., R. Grant Steen, et Arturo
    Casadevall. 2012.  Misconduct accounts for the
    majority of retracted scientific publications .
    Proceedings of the National Academy of Sciences.
  • Et Pierre Barthélémy,  passeurdesciences 
  • http//passeurdesciences.blog.lemonde.fr/2012/10/0
    3/la-fraude-scientifique-est-plus-repandue-recherc
    he/

Voir  l'outil http//dejavu.vbi.vt.edu/dejavu/
pour les articles similaires.
" l'augmentation des rétractions et des
manquements à l'éthique peut résulter, au moins
en partie, du système de la science au résultat,
basé sur la logique économique de la prime au
vainqueur, qui confère au premier des récompenses
disproportionnées, sous la forme de subventions,
de postes et de prix, à une période où le
financement de la recherche se restreint ".
34
Les instances d'évaluation
35
Êtes-vous  publiant  ? selon lAERES (doc
2007) http//wiki-urfist.unice.fr/wiki_urfist/ima
ges/7/7d/Criteres_Identification_Publiants.pdf
Lactivité dune unité de recherche fait lobjet
dune appréciation qualitative, fondée
principalement sur lévaluation par les pairs,
complétée par un certain nombre dindicateurs
aussi objectifs que possible. A lestimation
globale de la qualité de la production
scientifique et du rayonnement dun laboratoire,
sajoute la prise en considération de
lorganisation et de la répartition des travaux
entre ses membres. Lun des indicateurs est une
estimation de la proportion des chercheurs et
enseignants-chercheurs "publiants".
Production Scientifique de rang A pour 4 ans Scu
Liste revues AeRES http//www.aeres-evaluation.f
r/Publications/Methodologie-de-l-evaluation/Listes
-de-revues-SHS-sciences-humaines-et-sociales
Peut-être de nouveaux critères ?, selon les
recommandations de lAcademie des Sciences au MESR
36
Est considéré comme une production scientifique
de rang A pour lAeRES
une publication dans une revue internationale
avec comité de lecture (ou une revue considérée
comme de très bon niveau par la communauté dans
certaines disciplines), un chapitre d'ouvrage
ou un ouvrage de recherche reconnu
internationalement (ou de portée nationale en
SHS), pour le secteur STIC ou SHS, un article
long dans un congrès international à comité de
sélection considéré comme sélectif par la
communauté, pour le secteur SHS, la
constitution de bases de données accessibles ou
de corpus de référence, les éditions critiques
un brevet déposé à l'international. Il est
clair que la participation à des colloques est un
indice de l'activité scientifique mais la très
grande variabilité qualitative de l'évaluation
des actes des colloques ne permet pas de les
retenir comme élément pertinent d'appréciation.
37
Evaluation Labo par lAERES (4 volets de la
notation)
  • Qualité scientifique et production (qualité et
    quantité des publis)
  • Rayonnement et attractivité, intégration dans
    l'environnement (relations internationales,
    contrats nationaux, prix, ...)
  • Stratégie, gouvernance et vie du laboratoire
    (implication dans luniv, politique de
    recrutement, ...
  • Appréciation du projet (analyse du
     quadriennal )

38
CNU
Voir site CP- CNU http//www.cpcnu.fr/ qualifica
tion et recommandation de chaque section
http//www.cpcnu.fr/sectionsCnu.htm
39
Les études et rapports sur d'évaluation
40
Principales Recommandations pour Lévaluation
individuelle des chercheurs et des
enseignants-chercheurs en sciences exactes et
expérimentales (Rapport Academie des Sciences du
8 juillet 2009 au MESR)
Pour une déontologie incontestable 1 -Assurer la
qualité des évaluateurs à partir de pré-requis
définis par l'AERES 2 -Imposer une déclaration
obligatoire des conflits d'intérêt directs et
indirects, signée par les évaluateurs, et
remplacement au sein du comité si nécessaire 3
-Limiter la durée des mandats à trois ans avec
rotation annuelle par tiers pour dissocier les
lobbies Évaluation de lactivité de recherche
4 -Réaffirmer la valeur primordiale de
l'évaluation directe des travaux scientifiques à
partir des publications originales et
éventuellement dauditions
41
...suite
5 -Encadrer la bibliométrie en s'assurant quelle
soit utilisée de façon rigoureuse, en évitant
tous les biais trop souvent négligés, en adaptant
les indicateurs selon les disciplines, et en
lintégrant à lévaluation qualitative.
Encourager le développement dune recherche
critique de nouveaux indicateurs 6 -Donner la
place qu'elle mérite à la recherche appliquée
pour ceux qui s'y consacrent 7 -Prendre en
considération les critères objectifs de notoriété
scientifique nationale et internationale
Évaluation de lactivité denseignement 8
-Etablir une grille d'évaluation de
l'enseignement en donnant une large place à
lappréciation des étudiants 9 -Intégrer des
critères objectifs tels que le contenu et
loriginalité de lenseignement ou la production
douvrages pédagogiques Évaluation des charges
dintérêt collectif 10 -Prendre en compte les
charges dintérêt collectif, plus
particulièrement celles impliquant des
responsabilités importantes
42
...suite
Autres mesures importantes 11 -Réduire le nombre
des évaluations au strict nécessaire, en
distinguant les évaluations approfondies
(recrutements et autres étapes-clés de la
carrière), des évaluations de suivi 12 -Procéder
aux recrutements en deux étapes admissibilité
sur dossier, admission après audition et examen
approfondis 13 -Toute évaluation ne doit être
entreprise que si elle peut conduire à des
conséquences significatives pour lintéressé.
Créer des structures de ressources humaines en
vue dune aide à une évolution de la carrière des
personnels en difficulté 14 -Bien mettre en
perspective le rôle de lévaluation nationale
(essentielle pour lactivité de recherche) et de
lévaluation locale (la mieux placée pour
lévaluation de lenseignement et celle des
charges dintérêt collectif) en veillant
néanmoins à ce que les structures locales
dévaluation incluent un pourcentage suffisant
dexperts extérieurs.
43
Rapport Académie des Sciences 17 janvier 2011
DU BON USAGE DE LA BIBLIOMETRIE POUR
L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS
 Lévaluation individuelle des chercheurs reste
très subjective et soumise à de nombreux biais
potentiels. LAcadémie a souhaité se pencher sur
les pratiques bibliométriques quantitatives
censées être plus objectives, et émettre un
certain nombre de recommandations sur lusage de
la bibliométrie qui pourrait, moyennant le
respect de règles rigoureuses, aider à
lévaluation qualitative. Ces règles devraient
être reconnues à un niveau au moins européen. Le
problème est dautant moins simple que
lévaluation bibliométrique fait débat, avec des
avis souvent tranchés pour ou contre son
utilisation, dépendant en grande partie, mais pas
seulement, des disciplines. 
Voir aperçu du rapoort en PDF -gt les quelques
points surlignés
44
Rapport de LInria 2007
  • Les indicateurs sont des instruments de mesure
    importants mais qui doivent être utilisés de
    manière éclairée en respectant des règles de base
  • Les indicateurs actuels sont essentiellement des
    facteurs d'impact ce qui n'est pas synonyme de
    qualité.
  • Il faut simplement s'attacher aux ordres de
    grandeur des indicateurs car même l'utilisation
    de sources diverses ne permet pas d'obtenir une
    grande précision.
  • Il est nécessaire de corriger les indicateurs par
    l'avis d'experts.
  • Il est nécessaire d'utiliser plusieurs
    indicateurs.
  • Il est nécessaire de recouper des sources
    diverses pour obtenir une information pertinente.

45
JournalBase http//journalbase.cnrs.fr/ Une
étude et un futur référentiel ?
http//www.cybergeo.eu/index22864.html
  • 5 bases sont étudiées. Les bases SSCI (2012
    revues) et AHCI (1166 revues) du WOS
    (Thomson-reuter) comportent (en 2009) quelques
    3178 revues, quand Scopus, base dElsevier en
    recense 6200, lERIH liste 5200 titres, et
    lAERES en dénombre 6000.
  • journalbase, résultats de la concordance et de la
    curation des 5 bases, recense 9551 revues
    différentes en SHS
  • ... La suite sur http//urfistinfo.hypotheses.or
    g/1414

46
(re)penser l'évaluation
47
Appropriation du  numérique 
  • (re)penser
  • le cycle de linfo
  • la communication scientifique
  • lévaluation de la recherche

48
Source JimGray, 4thParadigm, 2009
Escience
  • Appropriation des technologies, pratiques
    informationnelles nouvelles ou renouvelées
    (diffusion et accès)
  • Data deluge Big data Open data data
    curation
  • Gain de productivité ? (bouclage rapide du cycle)
  • Gain de créativité ? (tertiarisation
    documentaire)

49
Production scientifique et compartimentation des
savoirs ...vers linterdisplinarité
  • Spécialisation de la R
  • Évaluation de la R
  • gt accroissement de la Pub. Sc. (données,
    textes, revues, etc)?
  • Il faut
  • Mieux connecter
  • Mieux partager
  • Ouvrir le spectre documentaire
  • La KDD

Daprès Swanson (1986)?
50
Communication scientifique modèle 2020
Source Julie M. Hurd JASIST 51(14), 2000
51
Une histoire de la communication scientifique
dispositif de publication renouvelé
micro-ordinateur
A partir de   GUÉDON, J. (2001). In Oldenburg's
Long Shadow Librarians, Research Scientists,
Publishers, and the Control of Scientific
Publishing. In Creating the Digital Future
Association of Research Libraries,138th Annual
Meeting, Toronto, Ontario (Canada), May 23-25,
2001.
52
Indicateurs émergents ? IF, Shanghai, h index et
quoi dautre ?
  • gt Des spécificités pour les domaines Sc.
  • Par ex. SHS
  • Importance Revues/Ouvrages ?
  • Internationnalisation des disciplines ?
  • gt Des pistes (les dia. suivantes)
  • Système dinformation (SI) local
  • Interfaçage / Mashup
  • visibilité internationale des références hors
    marché de linformation le scholar web (AO,
    outils spécialisés,)

53
SI local ?
  • Système dInformation (SI) local (global ?)
    ? imposé par la LOLF (indicateurs dactivités)
  • Ex. sur Unice CRI/DRED système SIRIUS (GRAAL)
  • Ex. sur lINRA ProdInra
  • Connexions des entrepôts dinformations nationaux
    et locaux (AO institutionelles notamment)
  • Pour luniv ses propres indicateurs au regard
    de ceux proposés par Ost - IPERU
  • Toutes les refs peuvent êtres prises en
    considération (autre référentiel)
  • Interopérabilité des SI constitution de BdD
    disciplinaires en France, connectivité avec
    dautres BdD (HAL, ) (Cf ds les dia suivantes-
    IRRA/RAE en Uk)

54
Interfaçage / Mashup
  • gtgt des outils de croissement de référentiels,
    pour mesures ou visualisation différentes.
  • SCEAS System http//sceas.csd.auth.gr/ (DBLP)
  • SCImago http//www.scimagojr.com (Scopus -
    Elsevier)
  • Eigenfactor http//www.eigenfactor.org/index.ph
    p (JCR)
  • Authoratory http//www.authoratory.com/
    (Pubmed)
  • Scival http//www.scival.com/ (Elsevier) (voir
    .flv)
  • ...

55
Le  scholar web  ISI factor vs. web factor
  • Référencement établi vs. visibilité
  • usage/accès aux BdD commerciales vs. usage/accès
    généralisé/libre
  • Evaluation maîtrisée par une méthode et une
    entreprise vs. une multitude dévaluations,
    méthodes, projets, ...
  • Publier autrement , relation Open access -
    evaluation (voir enquête DOAJ-gtJCR (SNIP scimago
    http//wowter.net/2011/01/06/the-impact-factor-of-
    open-access-journals/ gt env. 10 des revues)
  • Déjà à lœuvre CiteBase, Citeseer, Scholar
    google, webometric, clickstream, F1000, enquête
    (dia suivante)
  • De lOpen Peer Review au Peer commentary de la
    levée de lanonymat des pairs évaluateurs aux
    commentaires de la communautés (avant, après, à
    la place)

56
Autres indicateurs
  • Citebase, 1999, rapport téléchargements/citations
    http//www.citebase.org/
  • Citeseer, Associations des refs, commentaires et
    votes http//citeseer.ist.psu.edu
  • F1000, 2002,  groupes qualités 
    http//www.f1000biology.com/home/
  • IRRA (2005, Institutional Repositories and
    Research Assessment), RAE Software for
    Institutional Repositories http//irra.eprints.o
    rg/white/
  • Google citation, http//scholar.google.com/
  • FiveStars pour une revue http//www.dlib.org/dlib/
    january12/shotton/01shotton.html
  • Ranking web (2006 - CSIC) http//www.webometrics.i
    nfo/
  • principe du Clickstream (cf. dia suivante)

57
Clickstream
58
Altmetrics http//altmetrics.org/manifesto/
 In growing numbers, scholars are moving their
everyday work to the web. Online reference
managers Zotero and Mendeley each claim to store
over 40 million articles (making them
substantially larger than PubMed) as many as a
third of scholars are on Twitter, and a growing
number tend scholarly blogs 
  •  Une mesure de l'impact de la production
    scientique 
  • - pas seulement le texte complet mais aussi des
     bouts  de texte
  • - accompagne les autres métriques
  • - ex  http//readermeter.org , plos-one, utopia
    (dia suivantes)

59
(No Transcript)
60
Utopia document augmenté
Altmetrics
61
Bookmarklet Altmetric
  • Sur http//www.altmetric.com/

62
Nouveaux modes dévaluation de la recherche ?
En guise de conclusion
Un nouveau modèle de la publication Scientifique
entraînera de nouveaux modes dévaluation de la
recherche (y compris selon le principe de
citation),...(dautre lieux de publication,
dautres lieux de citations, etc... cf.
Altmetrics par exemple http//altmetrics.org/manif
esto/ )
63
Quelques éléments bibliographiques
  • Biblio selective du cirad  http//coop-ist.cirad.
    fr/aide-a-la-publication/evaluer-la-recherche/indi
    cateurs-de-publication-bibliographie/introduction
  • Groupe Diigo du Réseau des Urfist 
    http//groups.diigo.com/group/scientometrics
  • Cours "bibliométrie" Manuel Durand-Barthez
    http//wiki-urfist.unice.fr/wiki_urfist/index.php/
    BIBLIOMETRIE
  • et la page dédiée aux notions de IF et Citations
    http//www.scd.ups-tlse.fr/barthez/liens_citat.h
    tm

64
Vos questions
?
About PowerShow.com