Diapositiva 1

1
VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA
INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR
Santander, 31 de mayo de 2011
LA EVALUACIÓN ex-POST DE LOS PROYECTOS DE
INVESTIGACIÓN
Carlos Guerra Rodríguez, Sonia Martín Cerro,
Elena Tejedor Viñuela carlos_at_acsucyl.es
sonia_at_acsucyl.es http//www.acsucyl.es
2

GUÍA DE LA PRESENTACIÓN

• Presentación de ACSUCyL
• Política de calidad de ACSUCyL
• Evaluación de la investigación en ACSUCyL
• Órganos de evaluación de ACSUCyL
• Por qué la evaluación EX-POST de los PI?
• Evaluación EX-POST criterios y procedimientos
• Descripción e indicadores de la evaluación EXPOST
  2007
• Resultados de la evaluación EXPOST 2007
• Discriminación de los criterios utilizados
• Correlación de los criterios a partir de los
  resultados
• Grado de discrepancia entre los evaluadores
  externos
• Qué piensan los IP de la evaluación EXPOST de
  sus proyectos?
• Conclusiones

3

ACSUCyL

• Órgano de evaluación externa del sistema
  universitario de Castilla y León.
• Agencia creada en 2001, en la actualidad es ente
  público de derecho privado de la Administración
  de Castilla y León.
• Las actividades de evaluación, acreditación y
  certificación que desarrolla la Agencia persiguen
  la realización de los siguientes fines de interés
  general
• Potenciar la mejora de la actividad docente,
  investigadora y de gestión de las Universidades y
  de los centros de investigación y de educación
  superior, favoreciendo la mejora de la
  competitividad y el desarrollo económico de
  Castilla y León
• Artículo 35.
• Ley 3/2003 de Universidades de Castilla y León

4

POLÍTICA DE CALIDAD DE ACSUCyL

• Respetar y hacer cumplir los principios
  establecidos en el Código Ético que determinan la
  conducta de las personas que trabajan o que
  actúan en nombre de ACSUCYL
• Garantizar la autonomía e independencia de los
  órganos de evaluación en el ejercicio de sus
  funciones. 
• Garantizar la transparencia en todas las
  actividades desarrolladas. 
• Establecer mecanismos de responsabilidad para la
  propia rendición de cuentas con fines de mejora.

5

ACTUACIONES DE ACSUCyL EN EL ÁMBITO DE LA
EVALUACIÓN DE LA INVESTIGACIÓN

• Institutos Universitarios de Investigación
  (creación o adscripción, y evaluaciones
  periódicas cada cinco años).
• Grupos de Investigación de Excelencia (GIE).
• Proyectos de Investigación.
• Evaluación Ex Post de los proyectos de
  investigación.
• Ayudas para la contratación de Personal
  Investigador de Reciente Titulación.
• Evaluación de los resultados de investigación de
  los investigadores.
• Evaluación de Congresos, Simposios y Reuniones
  Científicas.

6
ÓRGANOS DE EVALUACIÓN DE ACSUCyL

• Comisión de Evaluación de la Investigación (CEI)
• Coordinadores de Área
• Paneles Científicos
• La Dirección de la Agencia nombra a los Paneles
  Científicos, a los Coordinadores y a la CEI,
  entre especialistas externos al Sistema
  Universitario de Castilla y León.

7

COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN (CEI)
Es la Comisión de ACSUCYL competente en los
procesos relacionados con la evaluación de la
calidad de las actividades de investigación

• Nombramiento la Dirección de la Agencia
• Número de miembros diez
• Perfil preferentemente, académicos y
  profesionales de reconocido prestigio, con una
  significativa trayectoria docente e
  investigadora, y experiencia en gestión y en
  procesos de evaluación de la calidad en el ámbito
  universitario. (Tres sexenios)
• Composición en su designación, se procura el
  equilibrio entre los diferentes ámbitos de
  conocimiento.
• Procedencia externa al Sistema Universitario de
  Castilla y León.
• Periodo de nombramiento un plazo máximo de 4
  años.

8
MIEMBROS DE LA CEI
Valcárcel Cases, Miguel (presidente) Química Analítica Universidad de Córdoba
Badiola Diez, Juan José Sanidad Animal Universidad de Zaragoza
Brillas Coso, Enric Química Física Universidad de Barcelona
José Vilches Troya Histología Universidad de Cádiz
Chacón Fuertes, Pedro Filosofía Universidad Complutense Madrid
Echenique Elizondo, Mª Teresa Lengua Española Universidad de Valencia
Feliu Batlle, Vicente Ingeniería de Sistemas y Automática Universidad Castilla la Mancha
Franch Benavent, Ricardo Historia Moderna Universidad de Valencia
Moreno Rodríguez, María del Carmen Psicología Universidad de Sevilla
Ruiz-Huerta Carbonell, Jesús Economía Aplicada Universidad Rey Juan Carlos
9
POR QUÉ LA EVALUACIÓN EX-POST DE LOS PROYECTOS
DE INVESTIGACIÓN?

• Práctica consustancial a la actividad
  investigadora de calidad.
• La Junta de Castilla y León en las convocatorias
  de ayudas destinadas a financiar Programas de
  Apoyo a Proyectos de Investigación, establece que
  se evaluarán los resultados de las actividades de
  investigación mediante una memoria final.
• En la convocatoria de estas ayudas, publicada en
  2009, establece también que para valorar uno de
  los criterios de selección de los proyectos y
  para determinar las subvenciones, se tenga en
  cuenta la consecución de objetivos, relevancia
  científica o impacto socioeconómico de los
  proyectos previamente financiados.
• La Consejería de Educación de la Junta de
  Castilla y León ha solicitado la colaboración
  ACSUCYL para la valoración de los aspectos
  relativos a la consecución de objetivos y la
  relevancia científica de los proyectos.

10
LA EVALUACIÓN EX-POST EN ACSUCYL

• La CEI ha elaborado un Manual de procedimiento
  de evaluación EX-POST de proyectos de
  investigación.
• La CEI define los criterios y protocolos de
  evaluación que se aplicarán para la evaluación de
  los proyectos financiados en cada convocatoria.
• En ellos se especifican los distintos elementos
  y aspectos que tendrán que tomar en consideración
  los órganos de evaluación para la emisión de sus
  informes.
• ACSUCYL publica en su página web estos protocolos
  de evaluación.
• ACSUCYL remite sus informes a la Junta de
  Castilla y León, quien a su vez se los remite a
  los IP de los proyectos.

11
INDICADORES PROCESO DE EVALUACIÓN EX-POST DE
PROYECTOS DE INVESTIGACIÓN 2007
Número de proyectos 212. Duración del proceso de
evaluación 105. Número de evaluadores
403. Número de coordinadores 25. Mujeres
(evaluadores/coordinadores) 24 Máximo de
concentración (eval./coord) 13 Desviación
típica gt 1 entre el informe de la CEI y los
informes externos 12 Nº de recursos
presentados lt5
12
(No Transcript)
13
(No Transcript)
14
RESULTADO DE LA EVALUACIÓN EX-POST 2007
15
RESULTADO DE LA EVALUACIÓN EX-POST 2007
16
DISCRIMINACIÓN DE LOS CRITERIOS UTILIZADOS EN LA
EVALUACIÓN EX-POST 2007
CRITERIOS Puntuación máxima del criterio Proyectos con puntuación 80 del valor máximo del criterio Proyectos con puntuación lt 50 del valor máximo del criterio
a.1. Cumplimiento del plan de trabajo 20 42,5 17,5
b.1. Consecución de los objetivos previstos 20 o 30 44,3 16,5
b.2. Eficiencia y eficacia del gasto 10 o 0 78,5 6,5
c.1. Significación de los resultados alcanzado 20 36,8 22,6
c.2. Calidad e impacto científico-tecnológico 20 28,3 37,7
c.3. Capacidad formativa y consolidación 10 29,3 38,2
17
CORRELACIÓN DE LOS CRITERIOS UTILIZADOS, A PARTIR
DE LOS RESULTADOS OBTENIDOS EN LA EVALUACIÓN
EX-POST 2007
CRITERIOS Proyectos con puntuación 80 del valor máximo del criterio que han obtenido una valoración global 80 Correlación de los criterios con los resultados
a.1. Cumplimiento del plan de trabajo 50 0,82
b.1. Consecución de los objetivos previstos 84,4 0,84
b.2. Eficiencia y eficacia del gasto 33,6
c.1. Significación de los resultados alcanzado 59 0,88
c.2. Calidad e impacto científico-tecnológico 65 0,77
c.3. Capacidad formativa y consolidación 38,7
18
GRADO DE DISCREPANCIA ENTRE LOS EVALUADORES
EXTERNOS
19
QUE PIENSAN LOS INVESTIGADORES PRINCIPALES DE LA
EVALUACIÓN EXPOST DE SUS PROYECTOS? (sobre una
muestra de 54 IP)
20
(No Transcript)
21
(No Transcript)
22
(No Transcript)
23
(No Transcript)
24
(No Transcript)
25
CONCLUSIONES

• No hay suficiente cultura entre los IP de
  esforzarse en la realización de las memorias
  finales de los proyectos.
• Los criterios de la evaluación EXPOST deben ser
  conocidos por los IP.
• Es necesario utilizar referentes claros en las
  evaluaciones que eviten que el grado de
  discrepancia entre los evaluadores sea elevado.
• Incrementar el impacto de la evaluación EXPOST en
  las nuevas convocatorias.

26
VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA
INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR
Santander, 31 de mayo de 2011
LA EVALUACIÓN ex-POST DE LOS PROYECTOS DE
INVESTIGACIÓN
Carlos Guerra Rodríguez, Sonia Martín Cerro,
Elena Tejedor Viñuela carlos_at_acsucyl.es
sonia_at_acsucyl.es http//www.acsucyl.es