Metody pro evaluaci v

1
Metody pro evaluaci výsledku VaV - follow up
Doc. MUDr. Ivan Pohl, CSc.

• Vzdelávání pracovníku VaV MU a VFU Brno
  v endoskopických
• vyšetrovacích technikách a endoskopicky
  asistované miniinvazivní chirurgii
• s využitím nových materiálu
• Tato prezentace je spolufinancována Evropským
  sociálním fondem a státním rozpoctem Ceské
  republiky.

2
Hodnocení vedy a výzkumu

• Výkon individuální nebo kolektivní
• Kvalitativní hodnocení nebo kvatitativní

3
RVVI

• Rady pro výzkum, vývoj a inovace (RVVI) jako
  poradního orgánu vlády a Grantové agentury CR
• Ministerstva jsou správní orgány oprávnené
  poskytovat podporu ze státního rozpoctu

4
Grantová agentura CR

• vyhlašuje verejné souteže ve výzkumu a vývoji na
  podporu grantových projektu základního výzkumu
• Projekty
• (1) standardní grantový projekt
• (2) postdoktorský grantový projekt
• (3) bilaterální grantový projekt.

5
Metody pro hodnocení vedy a výzkumu (Ráb P.,
Kadlecová I Inforum 2008 )

• 1. ranking
• 2. benchmarking
• 3. rating benchmarking

6
A Directory of Evaluation Methods Relevant to
Technology Development Programs (USA)

• Peer Review/Expert Judgment
• Monitoring, Data Compilation, and Use of
  Indicators
• Bibliometrics counts and citation analysis
• Bibliometrics data mining
• Bibliometrics hotspot patent analysis
• Network Analysis
• Case Study Method Exploratory, Descriptive, and
  Explanatory
• Survey Method
• Benchmarking Method
• Technology Commercialization Tracking Method
• Benefit-Cost Case Study
• Econometric Methods
• Historical Tracing
• Spillover Analysis.

7
Zdroje dat pro bibliometrické metody

• Polytematické
• Science Citation Index
• Scopus
• Scholar Google
• Oborové
• databáze Medline
• astronomie, fyzika, NASA-ADS
• medicínský citacní index Národní lékarské
  knihovny
• Specializované
• patentový citacní rejstrík Derwent, STN
  Internat., Dialoq
• Web of Science
• Journal Citation Reports
• RIV
• ASEP

8
Informacní systém výzkumu, vývoje a inovací (IS
VaV)

• RIV - registr informací o výsledcích výzkumu a
  vývoje.
• ASEP Automatizovaný Systém Evidence Publikací a
  dalších typu výsledku pracovišt AV CR

9
Databáze

• Web of Science (WoS)
• SCOPUS - Scopus Citation Tracker
• review citations to a particular author.
• review the citations in a particular field.
• Use the refine box to view a summary of citing
  documents

10
Analýza casopisu

• Journal of Citation Reports
• Celkem je vyhodnocováno asi 9100 casopisu od 2200
  nakladatelu ze 78 státu, zahrnujících asi 230
  vedních oboru.
• Journal Impact Factor
• pomer poctu citací v hodnoceném roce na všechny
  clánky publikované v daném casopise za predchozí
  dva roky, k celkovému poctu všech techto clánku

11
Analýza casopisu

• Immediacy Index
• Citacní polocasy
• Opatrnost pri interpretaci výsledku
  bibliometrické analýzy !

12
Problémy citacních indexu

• citacní zvyklosti v jednotlivých oborech se liší,
• smysl má porovnávat stejné obory,
• mezioborové práce mají obvykle vyšší citovanost,
• vysokou citovanost mají práce z úzkého oboru,
• citacní mafie (gangy),
• vysokou citovanost mají prehledové a metodické
  clánky,
• nezasloužená citovanost (šéfové, drobná
  spolupráce),
• negativní citace má stejnou váhu jako pozitivní,
• dobrá práce prejde do referátového clánku, který
  je citován,
• autocitace (tvorí cca 1/3 všech citací),
• velmi dobré publikace mají desítky, výjimecné
  stovky citací,
• znevýhodnení popularizátoru vedy.

13
Metodika hodnocení výsledku výzkumných organizací

• Úvod
• Hodnocení výsledku výzkumných organizací
• Hodnocení výsledku programu výzkumu, expr. vývoje
  a inovací ukoncených v r. 2009 a 2010
• Pravidla overitelnosti vykazovaných výsledku
• Renormalizace bodového ohodnocení a pravidla
  rozdelování institucionálních prostredku
  výzkumných organizací a stanovení financní
  hodnoty bodu,
• Záver a Prílohy.

14
Hodnotící kritéria pro výber projektu TACR

• Binární kritéria ano ne (ne znamená automaticky
  vyrazení projektu)
• Navrhovaný projekt je projektem aplikovaného
  výzkumu nebo experimentálního vývoje
• Návrh projektu je v souladu s cíli programu a
  podprogramu
• Podstata návrhu projektu nebo její cásti nebyla
  rešena v rámci jiného projektu, atd.
• Príjemce prokázal požadovanou spoluúcast pri
  financování
• Príjemce prokázal, že projekt bude generovat
  alespon 1 aplikovaný výsledek z množiny
  podporovaných výsledku, který bude realizován v
  praxi do 3 let od ukoncení projektu

15
Hodnotící kritéria pro výber projektu TACR

• Bodovaná kritéria
• Kapacity výzkumného týmu (max. 10 bodu, prahová
  hodnota 5 bodu) Prokázání odborné zpusobilosti
  rešitelu, znalost rešení analogických problému v
  zahranicí, porovnání rešení se stavem v CR a ve
  svete
• Ocekávané prínosy projektu z hlediska cílu
  programu (max. 20 bodu, prahová hodnota 10 bodu)
  Novost rešení, aplikacní potenciál, výsledku
  projektu, celková úroven a komplexnost rešení
• Existence významných tržních príležitostí a
  schopnost techto príležitostí využít (max. 20
  bodu, prahová hodnota 10 bodu) - Znalost
  relevantního trhu pro uplatnení výsledku. atd.
• atd. celkem 7 bodu a 18 podbodu
• Jde o mix kritérií ryze odborných, technických a
  ekonomických. Cíl je posílení ceské ekonomiky a
  minimalizovat rizika neúspešného rešení.