Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attivit - PowerPoint PPT Presentation

Loading...

PPT – Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attivit PowerPoint presentation | free to download - id: 67155a-M2RmZ



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attivit

Description:

Title: PowerPoint Presentation Author: mario bressan Last modified by: gioacchini Created Date: 1/20/2009 9:38:37 PM Document presentation format – PowerPoint PPT presentation

Number of Views:64
Avg rating:3.0/5.0
Slides: 27
Provided by: mariob86
Learn more at: http://www.univpm.it
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attivit


1
Comitato di Indirizzo per la Valutazione della
Ricerca (CIVR)
  • Evoluzione della valutazione della ricerca in
    Italia dalla rilevazione 2001-2003 alle
    prossime attività
  • Mario Bressan
  • bressan_at_unich.it
  • Ancona, 28 maggio 2009

2
VTR 2001-2003
  • 20 maggio 2003 Pubblicazione Linee Guida
  • 16 dicembre 2003 Decreto Ministeriale n2206
  • 31 marzo 2003 registrazione della Corte
    dei Conti
  • 1 aprile 2004 Bando
  • 10 febbraio 2005 Insediamento dei Panel
  • 26 gennaio 2006 Risultati dei Panel
  • 8 febbraio 2007 Relazione finale
  • Strutture partecipanti 102 (77 Atenei, 12 Enti
    pubblici, 13 Istituzioni private)
  • Ricercatori coinvolti 64.028
  • Panelist 151 Esperti esterni 6.661
  • Prodotti valutati 17.329 Valutazioni 35.440

3
http//vtr2006.cineca.it
4
VTR
  • Il VTR ha generato una classifica delle
    istituzioni partecipanti, attribuendo a ciascuna
    un peso percentuale.
  • Sulla base di
  • Performance dei parametri valutati
  • Peso di ogni singolo parametro
  • Peso dellArea scientifica di riferimento

5
VTR - Determinazione degli indicatori di
performance e del loro peso
peso
A - Qualità dei prodotti (rating medio moltiplicato per numero dei prodotti selezionati ) 4
B - Proprietà dei prodotti eccellenti (grado medio di proprietà dei prodotti eccellenti moltiplicato per il loro numero) 2
Valutazione della produzione scientifica 6
C - Ricercatori in mobilità internazionale (numero degli anni . persona dei ricercatori in uscita e in entrata, per soggiorni gt 3 mesi) 1
D - Ricercatori in formazione (numero di dottorandi, assegnisti borsisti post-doc) 0,5
E - Finanziamenti da risorse esterne (da MIUR, organismi internazionali e altri soggetti) 1
F - Finanziamenti da risorse proprie (autofinanziamento) 0,5
Valutazione dei dati di contesto 3
Totale 9
6
VTR - Determinazione della quota delle risorse da
destinare a ogni Area
Peso costo unitario della ricerca ()
01 - Scienze matematiche e informatiche 1,35
02 - Scienze fisiche 1,96
03 - Scienze chimiche 2,33
04 - Scienze della terra 1,79
05 - Scienze biologiche 1,97
06 - Scienze mediche 1,43
07 - Scienze agrarie e veterinarie 2,12
08 - Ingegneria civile ed architettura 1,92
09 - Ingegneria industriale e dell'informazione 2,31
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche 1,19
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche 1,16
12 - Scienze giuridiche 1
13 - Scienze economiche e statistiche 1,53
14 - Scienze politiche e sociali 1,85
() calcolato sulla base dellentità del
cofinanziamento, su fondi propri non vincolati,
di progetti di ricerca da parte delle Strutture
7
VTR - Quota delle risorse (destinate alle Aree)
attribuita alla singola Struttura
8
VTR - Concorrenza delle Strutture alle risorse
destinate alle Aree
9
VTR - Concorrenza delle Strutture alle risorse
destinate alle valorizzazioni applicative
10
VQR 2004-2008
DPCM 7 settembre 2007 il CIVR è stato
ricostituito per condurre un nuovo esercizio di
valutazione della ricerca 6 aprile 2009, il
CIVR ha presentato al Ministro il progetto
dellesercizio VQR 2004-2008
  • Il VQR (Valutazione Quinquennale della Ricerca)
    si riferisce al periodo compreso tra il 1
    gennaio 2004 e il 31 dicembre 2008
  • SOGGETTI COINVOLTI
  • Universita statali
  • Enti di ricerca vigilati dal MIUR
  • Altri soggetti pubblici e privati, che svolgano
    attività di ricerca, su richiesta.
  • AREE DI VALUTAZIONE
  • esclusivamente le 14 Aree disciplinari CUN, per
    ognuna delle quali viene costituito presso il
    CIVR un Comitato (Panel) i cui componenti sono
    nominati dal Ministro su indicazione del CIVR.

11
Articolazione del Piano Operativo (1)
  • ADEMPIMENTI DELLE STRUTTURE
  • dati e informazioni, relativi a
  • Ricercatori (a tempo determinato, indeterminato e
    in formazione - dottorandi, assegnisti, borsisti
    post-doc e specializzandi)
  • Personale tecnico e amministrativo
  • Brevetti spin-off
  • Mobilità internazionale
  • Entrate per finanziamenti di progetti di ricerca
  • Impegno di risorse proprie in progetti di ricerca
  • PUBBLICAZIONI
  • articoli su riviste, limitatamente a quelle
    dotate di ISSN
  • libri e loro capitoli, inclusi atti di congressi,
    limitatamente a quelli dotati di ISBN
  • brevetti depositati
  • composizioni, disegni, design, performance,
    mostre ed esposizioni organizzate, manufatti,
    prototipi e opere d'arte e loro progetti, banche
    dati e software esclusivamente se corredati da
    pubblicazioni atte a consentirne adeguata
    valutazione.
  • Ogni ricercatore affiliato ai vari Dipartimenti,
    seleziona DUE pubblicazioni del quinquennio che
    lo vedano presente come autore o coautore.
  • La Struttura seleziona UNA delle due
    pubblicazioni, per la valutazione dei Panel.

12
Ricercatori (2008)
  AREE Univ stat. enti ricerca miur Univ non stat. ENEA
1 Scienze matematiche e informatiche 3550 50
2 Scienze fisiche 4650 250
3 Scienze chimiche 4100 100
4 Scienze della terra 2050 150
5 Scienze biologiche 6150 150
6 Scienze mediche 11600 750
7 Scienze agrarie e veterinarie 3650 100
8 Ingegneria civile ed architettura 3150 100
9 Ingegneria industriale e dellinformazione 5900 400
10 Scienze dellantichità, filologico-letterarie e storico-artistiche 6300 150
11 Scienze storiche, filosofiche, psicologiche e pedagogiche 5500 50
12 Scienze giuridiche 5200 200
13 Scienze economiche e statistiche 4850 450
14 Scienze politiche e sociali 1900 100
    68550 3000
13
Peer review oppure analisi delle citazioni?
  • Ambedue le procedure (peer review e citation
    analysis) consentono un ranking di qualità (pur
    con diversi significati e limiti) di
  • strutture,
  • dipartimenti,
  • gruppi di ricerca
  • singoli ricercatori

14
Limiti e vantaggi della peer review
  • LIMITI DELLA PEER REVIEW
  • Autoreferenzialità (chi nomina I revisori?)
  • Non consente il confronto internazionale
  • Alti costi
  • Tempi lunghi
  • VANTAGGI DELLA PEER REVIEW
  • Elimina I bias connessi con citazioni incongrue
  • Consente la valutazione di pubblicazioni in
    settori con caratteristiche di lenta maturazione
    della visibilità, mettendo alla pari discipline
    sperimentali e teoretiche
  • Consente la valutazione di pubblicazioni non
    catalogate nei database (libri, monografie)

15
VTR - Consistenza delle valutazioni peer-review
Giudizi dei due referee Giudizi dei due referee Giudizi dei due referee Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel Giudizio finale del Panel
N Eccellente Eccellente Buono Buono Accettabile Accettabile Limitato Limitato
Giudizi identici 7.531 43
Eccellente-Eccellente 2916 17 2804 96 102 6 4
Buono-Buono 3370 19 29 3250 96 86 5
Accettabile-Accettabile 919 5 35 856 93 28
Limitato-Limitato 326 2 1 10 315 97
Giudizi convergenti 7.580 44
Eccellente-Buono 4308 25 2212 51 2062 48 29 4
Buono-Accettabile 2642 15 9 1437 54 1179 45 17
Accettabile-Limitato 630 4 7 316 50 307 49
Giudizi divergenti 2.219 14
Eccellente-Accettabile 1164 7 102 880 76 180 2
Buono-Limitato 785 5 1 160 450 57 174
Eccellente- Limitato 270 2 19 123 46 100 37 28
TOTALE 17330 100 5176 8057 3212 884
16
Limiti e vantaggi della analisi delle citazioni
  • LIMITI DELLANALISI DELLE CITAZIONI
  • Le citazioni possono essere un riempitivo
    dellintroduzione
  • Le citazioni possono essere fatte in un contesto
    negativo
  • Il cosidetto Mattew effect  ...a chi ha,
    verrà dato, in modo che abbia ancor più in
    abbondanza ma a chi non ha, verrà tolto anche
    quello che sembra avere. 
  • bias associati agli articoli di review
  • Non considera il numero degli autori, favorendo
    così le discipline sperimentali su quelle
    teoretiche
  • Ha bisogno di database controllati (omonimie,
    duplicazioni, afferenze, .)
  • VANTAGGI DELLANALISI DELLE CITAZIONI
  • Oggettività
  • Consente il confronto internazionale
  • Bassi costi
  • Tempi corti

17
Peer review e analisi delle citazioni (1)
  • E possibile un uso alternato / integrazione
    delle due procedure, per arrivare al giudizio
    finale di merito.
  • In conclusione, per le pubblicazioni sostenute da
    database affidabile, sono possibili due
    alternative in termini di valutazione
  • solamente lanalisi delle citazioni
  • una procedura peer review, che comunque non può
    esimersi dal valutare anche le citazioni.
  • E fondamentale che il panel
  • scelga preliminarmente la procedura che verrà
    adottata, settore per settore, sottosettore per
    sottosettore,
  • giustifichi leventuale adozione della procedura
    mista

18
Peer review e analisi delle citazioni (2)
  • Il giudizio finale sulla singola pubblicazione,
    sia che proceda dalla sola peer review (nel caso
    di prodotti non sostenuti da banche dati), dalla
    sola citation analysis o dalla procedura mista,
    sarà espresso in termini di consensus report
    dal panel, su una scala numerica (monotonica o a
    fasce, preliminarmente definita per tutti i
    panel)
  • Lo score di qualità complessiva fluirà nelle
    varie aggregazioni previste (area, struttura,
    dipartimento) e possibili (gruppi di ricerca,
    singoli ricercatori).
  • Il processo dà ai panel maggiori responsabilità,
    rispetto al VTR.

19
  totale mondiale 2004-2007 DI CUI ITAL ITAL nel top 1 delle più citate (misurato)
AGRIBIO 486,496 15,512 148
ARTS 170,452 456 28
BIOCHEM 892,320 39,448 420
BUSI 172,148 1,092 28
CHEM 492,408 17,744 164
CHEM.ENG 312,232 6,456 120
COMPUTER 484,000 15,620 136
DECISION 44,172 1,612 12
DENT 37,200 1,156 32
EARTH 311,276 14,932 400
ECON 86,896 2,140 11
ENERGY 132,000 2,660 32
ENG 1,320,000 34,340 300
ENVI 264,000 8,472 104
HEALTH 108,000 3,112 68
IMMU 228,000 8,972 128
MATE 536,000 12,472 140
MATH 334,868 16,032 168
MED 1,904,440 73,656 616
MULT 64,000 1,020 20
NEUR 200,000 10,860 100
NURS 108,000 1,212 68
PHAR 244,000 9,700 168
PHYS 775,444 36,820 488
PSYC 177,856 3,268 100
SOCI 460,000 4,460 64
VETE 72,000 2,148 52
TOTALE 10,418,208 345,372 4,115
20
analisi delle citazioni (2)
2,006 GLOBAL USA USA GERMANY GERMANY UK UK FRANCE FRANCE ITALY ITALY
N Lavori PHYS 193,861 34,275 18 18,319 9 12,058 6 12,998 7 9,205 5
n lavori PHYS nel top 1 1,939 674 35 291 15 239 12 172 9 122 6
N Lavori CHEM 123,102 19,266 16 9,018 7 6,402 5 6,484 5 4,436 4
n lavori CHEM nel top 1 1,231 452 37 144 12 124 10 86 7 52 4
N Lavori MATH 83,717 14,083 17 5,936 7 5,085 6 5,449 7 4,008 5
n lavori MATH nel top 1 837 289 35 79 9 90 11 66 8 42 5
N Lavori ECON 21,724 4,854 22 996 5 2,048 9 599 3 535 2
n lavori ECON nel top 1 217 76 35 8 4 38 18 4 2 3 1
21
Adempimenti del CIVR
  • analisi delle citazioni relative a tutte gli
    articoli pubblicati nel 2004-2008 sulle riviste
    contenute in database.
  • determinazione dei pesi e delle quote di Area
  • analisi dei dati e delle informazioni, con
    sviluppo dei relativi indicatori di performance
  • relazione finale dellesercizio 2004-2008 del
    VQR
  • una valutazione di merito complessivo del sistema
    nazionale della ricerca
  • una valutazione di merito di ogni singola
    Struttura
  • una valutazione della capacità di trasferimento
    tecnologico e di valorizzazione applicativa della
    ricerca di ogni singola Struttura
  • una valutazione del posizionamento internazionale
    di tutte le pubblicazioni soggette ad analisi
    delle citazioni
  • una valutazione di merito di ogni singolo
    Dipartimento.

22
Il processo
VQR 2004-2008
database
Analisi delle citazioni
Governo Strutture di ricerca Comunità scientifica
CIVR
Giudizi
  • Dati informazioni
  • Relazione NUV/CIV

Panel di Area
Pubblicazioni selezionate
Strutture di ricerca
23
Allocazione delle risorse
  • L'allocazione del finanziamento da destinare alle
    singole Strutture in relazione all'esito del VQR
    2004-2008 si fonda sulla misurazione di tre
    indicatori, a ciascuno dei quali è attribuita una
    specifica quota del finanziamento complessivo
  • performance di Area (80-85)
  • trasferimento tecnologico e valorizzazione
    applicativa della ricerca (1-5)
  • posizionamento internazionale della produzione
    scientifica (10-15).

24
Calendario delle scadenze
Registrazione del D.M. e pubblicazione del bando di partecipazione al VQR e dellinvito per le candidature a panelist
Termine per la trasmissione telematica da parte delle Strutture dei dati relativi al personale Entro 1 mese
Termine per la trasmissione telematica delle pubblicazioni selezionate dalle Strutture Entro 3 mesi
Termine per la trasmissione telematica delle candidature per i panelist Entro 2 mesi
Insediamento dei Panel di Area Entro 4 mesi
Termine per la trasmissione telematica da parte delle Strutture degli altri dati e informazioni e dei Rapporti dei NUV/CIV Entro 6 mesi
Pubblicazione telematica dei Rapporti dei Panel Entro 12 mesi
Pubblicazione telematica della Relazione finale del CIVR Entro 18 mesi
25
(No Transcript)
26
Costi del VQR
panel 4.570.000
referee esterni 3.030.000
staff civr 540.000
ricerca bibliometrica 200.000
totale 8.340.000
di cui per univ. stat. enti miur 7.110.000
About PowerShow.com