Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13

1
Valutazione Triennale della Ricerca (VTR)
2001-2003 Lesperienza del Panel 13

• Franco Peracchi
• Università di Roma Tor Vergata

2
Scopi

• Suggerire regole e procedure di riferimento per
  la valutazione nazionale della ricerca.
• Stabilire un collegamento tra risultati della
  valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto tra
  le strutture di ricerca.
• Favorire la diffusione dei risultati della
  ricerca.
• Assicurare la massima trasparenza del processo di
  valutazione.

3
Caratteristiche principali

• Si svolge su base triennale.
• Ha lo scopo di valutare la performance
  scientifica delle strutture di ricerca
  (Università, enti pubblici di ricerca, ecc.) e
  dei progetti speciali finanziati dal MIUR nei 3
  anni precedenti.
• La performance scientifica delle strutture di
  ricerca è misurata dalla qualità dei loro
  prodotti di ricerca.
• Lorganizzazione generale e il calendario
  dellesercizio sono fissati dal MIUR.
• La partecipazione è volontaria (ma tutte le
  Università pubbliche hanno partecipato).
• La selezione dei prodotti di ricerca viene
  effettuata dalle strutture.
• La valutazione dei prodotti di ricerca si svolge
  attraverso un sistema di peer-review.

4
Il CIVR

• Il processo di valutazione è stato condotto dal
  CIVR (Comitato di Indirizzo per la Valutazione
  della Ricerca) tramite un insieme di Panel di
  area.
• Il CIVR dispone di personale tecnico e bilancio
  propri, e può usare esperti esterni, anche
  stranieri.
• La spina dorsale del CIVR è il sistema
  informatico, disegnato e implementato dal CINECA,
  il quale fornisce versioni PDF di quasi tutti i
  prodotti (non circolano copie fisiche dei
  prodotti).
• Nella sua composizione attuale, il CIVR ha
  iniziato la sua attività nel maggio 2003.
• Il CIVR consiste di 7 esperti, nominati dal
  Governo, ed eleggono un Presidente al loro
  interno.

5
Membri del CIVR

• Mario Bressan (Chimica Generale, DAnnunzio)
• Michele Coccia (Letteratura Latina, Sapienza)
• Franco Cuccurullo (Medicina Interna, DAnnunzio,
  Presidente)
• Enrico Garaci (Microbiologia, Tor Vergata)
• Fiorella Kostoris Padoa Schioppa (Economia
  Politica, Sapienza)
• Carlo Rizzuto (Fisica, Genova)
• Renato Ugo (Chimica Inorganica, Milano)

6
Compiti del CIVR

• Formulare le linee guida dellesercizio di
  valutazione, e specialmente i criteri per la
  valutazione dei prodotti.
• Organizzare il processo di valutazione.
• Scegliere i componenti dei 14 panel di area e dei
  5 panel per aree speciali, che hanno il compito
  di condurre lesercizio di valutazione.
• Produrre un rapporto finale che contiene una
  graduatoria delle strutture per ciascuna area
  basata sulla valutazione data ai prodotti di
  ricerca presentati da ciascuna struttura.

7
Aree e aree speciali

• Scienze matematiche e informatiche
• Scienze fisiche
• Scienze chimiche
• Scienze della terra
• Scienze biologiche
• Scienze mediche
• Scienze agrarie e veterinarie
• Ingegneria civile ed architettura
• Ingegneria industriale e dellinformazione
• Scienze dellantichità, filologico-letterarie e
  storico-artistiche
• Scienze storiche, filosofiche, psicologiche e
  pedagogiche
• Scienze giuridiche
• Scienze economiche e statistiche
• Scienze politiche e sociali
• 15 a Scienze e tecnologie per una società
  dell'informazione e della comunicazione
• 15 b Scienze e tecnologie per la qualità e la
  sicurezza degli alimenti
• 15 c Scienze e tecnologie dei
  nano/microsistemi
• 15 d Scienze e tecnologie aerospaziali

8
Selezione dei prodotti

• Per ciascuna area scientifica, le strutture hanno
  selezionato un insieme di prodotti di ricerca
  (libri, capitoli di libro, articoli su rivista,
  brevetti, ecc.), prodotti durante il triennio
  2001-03.
• A ciascun prodotto prescelto, le strutture hanno
  assegnato anche una categoria ISI.
• Il numero totale di prodotti selezionati da una
  struttura doveva essere uguale al 50 del numero
  medio di ricercatori equivalenti a tempo pieno
  (ETR) nel periodo 2001-03.
• Non era obbligatorio presentare prodotti in ogni
  area. Le aree prive di prodotti sono state
  giudicate inattive.
• Queste due regole hanno consentito qualche
  trade-off tra aree.
• Non è chiaro come le strutture hanno selezionato
  i prodotti. Alcune strutture chiaramente non
  hanno capito o hanno male interpretato i criteri
  resi noti dal CIVR.

9
Criteri di valutazione dei prodotti

• Qualità Posizionamento del prodotto rispetto
  alleccellenza scientifica nella scala di valore
  condivisa dalla comunità scientifica
  internazionale.
• Rilevanza Valore aggiunto per lavanzamento
  della conoscenza nel settore e per la scienza in
  generale, nonché per i benefici sociali derivati,
  anche in termini di appropriatezza, efficacia,
  tempestività e durata delle ricadute. Integra il
  giudizio di qualità.
• Originalità/Innovazione Contributo a nuove
  acquisizioni o all'avanzamento di conoscenze, nel
  settore di riferimento. Integra il giudizio di
  qualità.
• Internazionalizzazione Posizionamento nello
  scenario internazionale, in termini di rilevanza,
  competitività, diffusione editoriale e
  apprezzamento della comunità scientifica, inclusa
  la collaborazione esplicita con ricercatori e
  gruppi di ricerca di altre nazioni.

10
Classificazione dei prodotti

• In base ai giudizi indipendenti di almeno 2
  esperti esterni e alla propria valutazione, i
  panel di area classificano ciascuno dei prodotti
  ricevuti in una delle seguenti 4 classi
• Eccellente (20 superiore della scala di valore
  condivisa dalla comunità scientifica
  internazionale).
• Buono (60-80).
• Accettabile (40-60).
• Limitato (40 inferiore).

11
Componenti del Panel 13 (12, di cui 8 da
Università italiane e 4 da istituzioni straniere)

• Pierre Dehez (UCL, Belgio)
• Jean-Paul Fitoussi (OFCE, Francia)
• Francesco Giavazzi (Bocconi)
• Daniel Gros (CEPS, Belgio)
• Marco Lippi (Sapienza)
• Luigi Pasinetti (Cattolica)
• Daniel Peña (Carlos III, Spagna)
• Alessandro Penati (Cattolica)
• Franco Peracchi (Tor Vergata, Presidente)
• Alessandro Petretto (Firenze)
• Alessandro Riccaboni (Siena)
• Guido Tabellini (Bocconi)

12
Prodotti presentati dalle strutture
13
Prodotti valutati dal Panel 13

• 971 prodotti distinti (cioè al netto dei prodotti
  presentati da più strutture) da 4 categorie della
  classificazione ISI
• 574 (59) da IS0058 (Economia),
• 201 (21) da IS0142 (Matematica),
• 183 (19) da IS0132 (Management),
• 13 (1) da IS0328 (Sociologia e Antropologia).

14
Tipologie di prodotto nel Panel 13

• 526 (54) articoli in riviste con fattore di
  impatto (IF),
• 187 (19) libri,
• 156 (16) articoli in riviste senza IF,
• 102 (11) capitoli di libro,
• nessun prodotto di altra tipologia (brevetto,
  ecc.).

15
Tipologie di prodotto
Distribuzione per area
16
Lingua dei prodotti nel Panel 13

• 770 (79) in Inglese,
• 193 (20) in Italiano,
• 5 in Francese,
• 3 in altre lingue.

17
Lingua dei prodotti
Distribuzione per area
18
Attività del Panel 13

• Lesercizio di valutazione della ricerca è
  iniziato alla fine di Gennaio 2005.
• Dopo lelezione del Presidente e una prima
  tornata di discussioni preliminari, si è deciso
  di strutturare il Panel in tre sottogruppi
  Economia, Business/Finanza e Statistica/Econometri
  a.
• Lassegnazione dei prodotti ai Panelisti è stata
  fatta dal Presidente, tenuto conto dellarea di
  specializzazione e dei suggerimenti di ciascun
  Panelist.

19
Sottogruppi del Panel 13

• Economia (463 prodotti) Dehez (76), Fitoussi
  (43), Gros (92), Pasinetti (73), Petretto (87),
  Tabellini (92).
• Business/Finanza (249 prodotti) Giavazzi (75),
  Penati (83), Riccaboni (101).
• Statistica/Econometria (259 prodotti) Lippi
  (84), Peña (85), Peracchi (90).

20
Distribuzione dei prodotti per categoria ISI e
sottogruppo CIVR
Economia Business Statistica TOTALE
Economia 361 116 97 574
Management 51 125 7 183
Matematica 41 8 152 201
Sociologia 10 3 13
TOTALE 462 249 259 971
21
Distribuzione dei prodotti per categoria ISI e
tipologia ( di lavori in italiano in parentesi)
No IF IF Capitolo Libro TOTALE
Economia 92 (15.2) 323 (0.0) 70 (27.1) 89 (62.9) 574 (15.5)
Management 32 (34.4) 40 (0.0) 21 (38.1) 90 (87.8) 183 (53.6)
Matematica 31 (0.0) 157 (0.0) 10 (0.0) 3 (33.3) 201 (0.5)
Sociologia 1 (0.0) 6 (0.0) 1 (100.0) 5 (80.0) 13 (38.5)
TOTALE 156 (16.0) 526 (0.0) 102 (27.5) 187 (74.9) 971 (19.9)
22
Le 9 riviste più frequenti per categoria ISI

• Economics 82 articoli su 415 (19.8) Journal
  of Banking and Finance (12), European Economic
  Review (11), Scottish Journal of Political
  Economy (10), Journal of Economic Dynamics and
  Control (9), Applied Economics (9), Research
  Policy (8), Journal of Public Economics (8),
  Journal of Economic Behavior and Organization
  (8), Journal of Economic Theory (7).
• Management 20 articoli su 72 (27.8)
  Organization Science (3), Research Policy (3),
  Management Science (2), Journal of Management
  Studies (2), Journal of Banking and Finance (2),
  Oxford Review of Economic Policy (2), R D
  Management (2), Small Business Economics (2),
  Revue Française du Marketing (2).
• Mathematics 53 articoli su 188 (28.2)
  Biometrika (10), Computational Statistics and
  Data Analysis (10), European Journal of
  Operational Research (9), Annals of Statistics
  (4), Scandinavian Journal of Statistics (4),
  Insurance Mathematics and Economics (4),
  Environmetrics (4), Statistics and Probability
  Letters (4), Journal of Statistical Planning and
  Inference (4).

23
Assegnazione dei prodotti agli esperti esterni

• Lassegnazione di un prodotto ad esperti esterni
  (almeno due) è stata fatta dal Panelist
  incaricato.
• Cè stato disaccordo tra i Panelist circa l
  interpretazione e il peso da dare ai criteri CIVR
  per la valutazione dei prodotti.
• Ogni Panelist ha seguito criteri propri
  nellassegnare i prodotti agli esperti esterni e
  ha dato loro indicazioni non sempre coincidenti.
• Di conseguenza, esperti differenti potrebbero
  avere usato standard differenti nel valutare i
  prodotti.
• Per circa 2/3 dei prodotti, la valutazione
  esterna è stata completata tra aprile e giugno (3
  mesi). Per il restante 1/3, il processo di
  valutazione esterna si è concluso solo alla fine
  di novembre (8 mesi).

24
Affiliazione degli esperti esterni dellArea 13
Italiana Straniera Totale
Economia 92 (55.8) 73 (44.2) 165 (100.0)
Management 30 (73.2) 11 (26.8) 41 (100.0)
Matematica 48 (64.9) 26 (35.1) 74 (100.0)
Sociologia 6 (85.7) 1 (14.3) 7 (100.0)
TOTALE 176 (61.3) 111 (38.7) 287 (100.0)
25
Esperti esterni per area
Raggruppamenti per aree affini Esperti utilizzati Affiliazione Affiliazione Affiliazione Affiliazione
Raggruppamenti per aree affini Esperti utilizzati Università italiane Istituzioni estere Enti di ricerca italiani Imprese Italiane
Scientifica (1, 2, 3, 4) 2.017 52 29 16 3
Scienze della vita (5, 6, 7) 2.125 53 22 23 2
Tecnologica (8, 9) 993 60 13 23 4
Umanistica (10, 11) 833 79 13 8 0
Giuridica e Socio-politica (12, 14) 408 81 12 7 0
Economica (13) 285 55 37 8 0
TOTALE 6.661 59 22 17 2
26
Analisi divergenze giudizi
27
Giudizi finali

• Basandosi sui giudizi degli esperti esterni, i
  Panelist incaricati hanno proposto la loro
  proposta di giudizio agli altri componenti del
  sottogruppo.
• Il consenso è stato raggiunto quando una
  maggioranza dei componenti del sottogruppo si è
  detta daccordo sul giudizio proposto.
• Alla fine del processo, si è raggiunto il
  consenso a livello di sottogruppo (in alcuni casi
  dopo 1 o 2 iterazioni) per 967 dei 971 prodotti
  (99.6).
• Per 830 di questi 967 prodotti (l85.8), il
  consenso è stato unanime.
• Per il sottogruppo Business, il consenso non è
  stato unanime in 6 casi, per il sottogruppo
  Economia in 123 casi (26.7 dei prodotti dove si
  è raggiunto il consenso), per il sottogruppo
  Statistica in 1 caso.
• Per 4 prodotti (3 di Economia, 1 di Statistica),
  il giudizio finale è stato raggiunto attraverso
  votazione a maggioranza allinterno del panel.

28
Giudizi finali
Distribuzione per area
29
Distribuzione dei giudizi finali del Panel 13 per
categoria ISI
Limitato Accettabile Buono Eccellente TOTALE
Economia 100 (17.4) 161 (28.0) 214 (37.3) 99 (17.3) 574 (100.0)
Management 60 (32.8) 48 (26.2) 62 (33.9) 13 (7.1) 183 (100.0)
Matematica 12 (6.0) 49 (24.4) 84 (41.8) 56 (27.9) 201 (100.0)
Sociologia 1 (7.7) 7 (53.8) 5 (38.5) 0 (0.0) 13 (100.0)
TOTALE 173 (17.8) 265 (27.3) 365 (37.6) 168 (17.3) 971 (100.0)
30
Evidenza statistica

• Gli articoli in riviste con IF tendono a
  ricevere le valutazioni più alte, mentre i
  capitoli di libro quelle più basse.
• Per gli articoli publicati in riviste con IF, la
  probabilità di ricevere un giudizio di
  Eccellente o Buono cresce con lIF della
  rivista.
• Gran parte delle differenze nella distribuzione
  dei giudizi tra i Panelist scompare una volta che
  si controlla per le differenze nella tipologia e
  nella lingua dei prodotti ricevuti.
• Queste relazioni sono statisticamente fortemente
  significative.
• La loro interpretazione non però affatto ovvia.
  Per esempio È la reputazione della rivista dove
  un prodotto è stato pubblicato che aiuta a creare
  il giudizio dato a un prodotto, oppure è il
  giudizio dato a un prodotto che conferma la
  reputazione della rivista?

31
Regressioni per categoria ISI(variabile
dipendente punteggio CIVR 1E .8B .6A
.2L)
cnst no_IF chapter book no_IF_it chapter_it book_it n R-square RMSE
Economia .788 -.144 -.305 -.145 -.286 -.135 -.200 574 .337 .209
Managem. .800 -.095 -.169 -.036 -.359 -.206 -.348 183 .400 .218
Matem. .824 -.211 -.384 .176 -.800 201 .320 .169
TOTALE .798 -.153 -.296 -.109 -.294 -.124 -.261 971 .374 .204

• livello di significatività osservato
  (p-value) lt .01
• 0.1 p-value lt .05
• 0.5 p-value lt .10

32
Conclusioni

• Il CIVR è stato un grande successo, riuscendo a
  processare in breve tempo (circa 10 mesi) un gran
  numero di prodotti (quasi 18.000).
• Il sistema informatico che rappresenta la spina
  dorsale del CIVR ha funzionato in modo molto
  efficiente e senza intoppi.
• Lesercizio potrebbe essere svolto ogni anno e la
  graduatoria delle strutture potrebbe basarsi su
  una media mobile triennale.
• In questo modo, una nuova valutazione sarebbe
  necessaria solo per circa un terzo dei prodotti
  valutati dal VTR 2001-2003.
• Le strutture potrebbero aggiustare la loro
  politica e i loro incentivi con maggiore
  gradualità.