European curricula for economic animator in the enlarging Europe

1
Implementación y evaluación de proyectos

• European curricula for economic animator in the
  enlarging Europe
• Programa europeo de capacitación de agentes
  facilitadores de Desarrollo e innovación regional

2
Sumario

• Objetivos del Curso
• La evaluación de la intervención pública
• Justificación de la evaluación
• Antecedentes de la evaluación
• Objetivos usos y finalidad
• Tipos de evaluación
• Fases de la evaluación
• Componentes de la evaluación
• Caso Práctico Knowledge Cafe

3
Objetivos del curso

• El curso aborda aspectos relacionados con el
  seguimiento de políticas y programas públicos,
  tales como los diversos momentos en el proceso de
  valoración, justificación y control y donde se
  asignará especial relevancia a la aplicación de
  un marco de evaluación. De acuerdo a esto último,
  se profundizará en la evaluación de políticas y
  programas públicos, así como también en las
  herramientas para dicha valoración de la
  intervención pública

4
Justificación de la evaluación

• En la ayuda al desarrollo socioeconómico de las
  distintas regiones en los Estados Miembros de la
  Unión, las medidas políticas y económicas
  aplicadas se caracterizan por la diversidad en
  sus objetivos y conciencia de necesidades, la
  concentración, e incluso en ocasiones,
  contradicción en los esfuerzos asignados y la
  diferente percepción de las oportunidades,
  dificultades y soluciones existentes en el ámbito
  de apoyo público.
• En los últimos años hemos presenciado una
  preocupación creciente por la evaluación de las
  intervenciones públicas que surge, por un lado,
  de la necesidad de determinar los resultados
  obtenidos en relación al alcance de los objetivos
  previstos y recursos aplicados y, por otro lado y
  aun a riesgo de equivocarnos, de lo que
  denominamos la legitimidad última de la acción de
  los poderes públicos, que se basa en dar una
  respuesta satisfactoria a las demandas sociales.

5
Justificación de la evaluación

• Cada vez más, las directrices emanadas de la UE
  abogan por la utilización sistemática de la
  evaluación en las diferentes iniciativas
  regionales que se están llevando a cabo, así como
  de cada uno de los programas y líneas de
  actuación asumidas.
• Sin embargo, el objetivo último de la Comisión no
  responde únicamente a un simple control, sino que
  pretende obtener un efecto multiplicador de las
  metodologías de buenas prácticas, que obtenidas
  como conclusiones de las evaluaciones realizadas,
  sirvan para optimizar la efectividad, la
  racionalidad y el dinamismo del uso de los
  recursos disponibles y de los medios existentes
  para las políticas comunitarias apoyo al
  desarrollo socio-económico.

6
Justificación de la evaluación

• Por ello, la evaluación no debe estar
  exclusivamente dirigida a establecer juicios a
  posteriori con objeto de responder a las demandas
  de las organizaciones donantes o sociedad en
  general, sino que es una herramienta de uso
  habitual que resulta indispensable a la hora de
  formular las acciones y proceder a su ejecución.

7
Justificación de la evaluación

• Es decir, la evaluación no debe limitarse
  exclusivamente a otorgar mayor transparencia y
  legitimidad a la gestión pública o a incrementar
  el control sobre los escasos recursos públicos.
  El principal desafío que afrontan los entes
  públicos desde un reconocimiento general, obedece
  a la necesidad de disponer de información que
  resulte de utilidad en la asignación de recursos
  a programas y beneficiarios y de utilidad para
  valorar su gestión sobre la base de datos
  cuantitativos y cualitativos. Es decir, sistemas
  de información, no exclusivamente financieros,
  que permitan visualizar y analizar las
  actividades realizadas, el desarrollo de los
  programas, sus obstáculos e interrelaciones entre
  las distintas políticas o ayudas y la suma de
  impactos... Todo ello con el fin de facilitar la
  gestión interna de las operaciones y permitir
  valorar y planificar la asignación de recursos,
  racionalizando la gestión pública.

8
Antecedentes de la evaluación

• Primera etapa De los inicios a los años 60
• La evaluación nace en EEUU, hacia los años 30, en
  forma de investigación sobre programas de
  educación e infraestructuras, si bien, la mayor
  profusión de estudios se produce en los primeros
  años 60. El experimentalismo era el enfoque
  metodológico predominante y la evaluación era
  sinónimo de medición y cuantificación de
  resultados de la gestión pública y se concebía al
  servicio de los gestores.
• Segunda etapa De los años 60 a los años 70 
• La evaluación se convierte fundamentalmente en
  una herramienta descriptiva de los programas
  públicos para la resolución de los problemas
  sociales, en tanto que instrumento político para
  la reconsideración de políticas y presupuestos.
  El enfoque dominante respondía a una evaluación
  de carácter interno a la propia Administración y
  a los gobiernos.

9
Antecedentes de la evaluación

• Tercera etapa los años 80
• La evaluación se centra no sólo en los objetivos,
  sino también en los impactos sociales producidos
  tras la intervención pública. En Europa, la
  profundización en la gestión y control de los
  Fondos Estructurales, propició el impulso de los
  sistemas de evaluación, extendiéndose al conjunto
  de la sociedad civil, organizaciones no
  gubernamentales, etc. En la actualidad, la UE
  acomete la evaluación desde las más diversas
  perspectivas académicas y profesionales,
  institucionalizándose, en mayor medida, en los
  países del norte de Europa.
• Cuarta etapa los años 90 
• Se producen corrientes favorables a la evaluación
  en la mayoría de los países de la UE, surgen
  Institutos o Sociedades de evaluación y se
  desarrolla desde hace más de una década un amplio
  movimiento de conocimiento y experiencias que,
  inserto en la nueva sociedad del conocimiento, se
  dinamiza a través de redes de intercambio.

10
Objetivos de la evaluación uso y finalidad
Principales propósitos de la evaluación Marcos metodológicos
Planificación y eficiencia Asegurar que hay una justificación para la política/programa evaluado y que los recursos son eficientemente asignados y utilizados Responde a las necesidades informativas de planificadores y decisores políticos Enfoque basado en el análisis de la asignación de recursos Análisis de la eficiencia en la aplicación de los recursos, en términos de su planificación y uso
Rendición de cuentas (accountability) Demostrar hasta que punto el programa ha conseguido sus objetivos y cómo se han usado los recursos de una manera eficaz. Responde a las necesidades informativas de decisores político, organismos financiadores del programa y parlamentos. Enfoque basado en la verificación de unos estándares o metas Juzgar el éxito y la eficacia mediante la verificación de criterios.
Aplicación Mejorar la aplicación y ejecución del programa y la eficacia de sus mecanismos de actuación Responde a las necesidades de los gestores del programa y a sus socios. Enfoque formativo orientado hacia la mejora y el cambio Generar conclusiones que sean de utilidad para mejorar el programa durante su aplicación y funcionamiento.
Producción de conocimiento Aumentar nuestra comprensión sobre qué programas funcionan, como operan en la realidad y en qué circunstancias para poder llegar a conclusiones sobre la efectividad de diferentes formas de actuación Responde a las necesidades de planificadores Enfoque basado en la comprensión /explicación Investigar los impactos del programa y su éxito e identificar mecanismos causales sobre qué funciona, cuándo y cómo.
Fortalecimiento industrial Mejorar y desarrollar la capacidad de los participantes en el programa de actuar sobre su entrono y de sus redes e instituciones Responde a las necesidades de los socios y otros implicados Enfoque participativo Desarrollar redes, comunidades y territorios desde una perspectiva constructivista (de abajo-arriba) y con métodos participativos.
11
Objetivos de la evaluación Tipos

• En cuanto a los evaluadores
• Evaluación interna
• Evaluación externa
• Evaluación mixta
• En función de los Contenidos
• Evaluación de necesidades
• Evaluación de conceptualización o diseño de la
  política o programa
• Evaluación de evaluabilidad
• Evaluación de implementación.
• Evaluación de resultados
• Evaluación de Impacto
• Evaluación económica.
• En función de la perspectiva temporal
• Evaluación ex ante
• Evaluación intermedia
• Evaluación ex post
•  

• En función del paradigma
• Evaluación clásica, racionalista, positivista,
  experimentalista centrada en los objetivos.
• Evaluación pluralista, participativa,
  constructivista
• En función del campo al que dirija su acción
• Evaluación estratégica
• Evaluación operativa
•  
• En función del método de investigación
• Evaluación descriptiva
• Evaluación analítica
• Evaluación integral
•  
• En función del propósito
• Evaluación formativa
• Evaluación recapitulativa, conclusiva o de
  resultados

12
Fases de la evaluación

• Evaluación previa
• Evaluación intermedia
• Evaluación expost o final

13
Fases de la evaluación

• Evaluación previa
• Se plantea como un instrumento base para la
  preparación de los planes y las intervenciones.
  Analizará las capacidades, deficiencias y
  potencialidades del organismo beneficiario/
  usuario de la política/ programa, valorándose la
  coherencia de la estrategia y de los objetivos
  seleccionados con las características/problemática
  o particularidades de las zonas beneficiarias,
  así como el impacto esperado de las acciones
  prioritarias previstas, cuantificando, si sus
  características lo permiten, sus objetivos
  específicos en relación con la situación inicial
• Evaluación intermedia
• Evaluación expost o final

14
Fases de la evaluación

• Evaluación previa
• Evaluación intermedia
• Con relación a la evaluación intermedia, ésta
  analizará los primeros resultados de las
  intervenciones, su pertinencia y la realización
  de los objetivos tanto en términos financieros
  como en el desarrollo material de las
  intervenciones, debiendo ser efectuada por
  evaluadores independientes.
• Evaluación expost o final
• Con relación a la evaluación final, ésta tendrá
  por objeto valorar la utilización de los
  recursos, la eficacia y la eficiencia de las
  intervenciones y su impacto, centrándose en los
  factores de éxito o de fracaso así como deducir
  conclusiones para la política de intervención en
  cuestión, debiendo ser efectuada por evaluadores
  independientes.

15
Componentes de la evaluación
La OCDE, Organización de Cooperación y Desarrollo
Económicos, ha adoptado la siguiente definición
del concepto de evaluación La evaluación es
una función que consiste en hacer una
apreciación, tan sistemática y objetiva como sea
posible, sobre un proyecto en curso o acabado, un
programa o un conjunto de líneas de acción, su
concepción su realización y sus resultados. Se
trata de determinar la pertinencia de los
objetivos y su grado de realización, la
eficiencia en cuanto al desarrollo, la eficacia,
el impacto y la viabilidad. Una evaluación debe
proporcionar informaciones creíbles y útiles, que
permitan integrar las enseñanzas sacadas en los
mecanismos de toma de decisiones, tanto en los
países de acogida como en los donantes (1995)
16
Componentes de la evaluación

• Desde esta perspectiva, la evaluación se centra
  en cinco componentes generales o criterios que
  representan los puntos más importantes a tener en
  cuenta
• Eficiencia Se entiende que es la medida de los
  resultados del proyecto- cuantitativos y
  cualitativos- en relación con los insumos y los
  recursos totales, en otras palabras, cómo los
  insumos se convierten en resultados desde el
  punto de vista económico.
• Eficacia Es una medida para comprobar si se ha
  alcanzado el objetivo específico del proyecto, o
  qué probabilidad hay de que se alcance en el
  futuro en base a las acciones realizadas bajo el
  proyecto. La cuestión es en qué medida los
  resultados han contribuido a alcanzar el objetivo
  específico perseguido.

17
Componentes de la evaluación

• Impacto Son las consecuencias previstas y no
  previstas del proyecto para la sociedad, tanto
  positivas como negativas. El análisis en este
  caso debe tomar como punto de partida el objetivo
  general y el objetivo específico del proyecto
  pero va mucho más allá de averiguar simplemente
  si éstos se han alcanzado.
• Pertinencia Nos referimos a un análisis general
  acerca de si el proyecto se ajusta tanto al
  objetivo global, como a la política del donante y
  el receptor y a las necesidades y prioridades
  locales.
• Viabilidad Es un análisis del conjunto sobre en
  qué medida los cambios positivos logrados como
  consecuencia del proyecto se mantienen después de
  que éste ha finalizado.

18
Componentes de la evaluación
19
Componentes de la evaluación
Pertinencia
Objetivo Especifico
Producto
Insumos
Objetivo Superior
La pertinencia es un tema de vital importancia,
que se encarga de conocer si la razón de ser de
un proyecto está de acuerdo con las prioridades
de la comunidad local, la sociedad en cuestión y
del país u organización donante. La pertinencia
se preocupa de si la razón de ser de un proyecto
está de acuerdo con las prioridades de la
comunidad local y la sociedad en cuestión. La
pertinencia es básicamente una cuestión de
utilidad que a nivel superior se refiere a la
relación entre el proyecto y la política y los
efectos del área receptora, así como de si el
proyecto está de acuerdo con las prioridades del
la organización donante.
20
Componentes de la evaluación
Eficacia
El criterio de la eficacia es una medida para
comprobar si se han alcanzado los objetivos
específicos del proyecto, o qué probabilidades
existen de que se alcancen. Este concepto también
ofrece alguna información acerca del contenido
del proyecto y de si éste contribuye al
desarrollo en la dirección esperada.
Objetivo Especifico
Producto
Insumos
Objetivo Superior
El análisis de la eficacia presupone que el
objetivo específico del proyecto ha sido definido
de modo inequívoco y con un carácter operacional,
a fin de hacer posible su verificación. Se deberá
prestar atención a las causas que están detrás de
la eficacia o de la ausencia de la misma,
especialmente al grado en el que se han alcanzado
los resultados esperados, y si éstos son
suficientes o ha sido necesario realizar cambios
en el diseño del proyecto para asegurar la
eficacia en un marco temporal establecido.
Igualmente, bajo este criterio, se analizará los
factores externos que ejercen también una
influencia sobre las posibilidades de éxito del
proyecto.
21
Componentes de la evaluación
Eficiencia
Objetivo Especifico
Producto
Insumos
Objetivo Superior
La eficiencia es una medida de la productividad
del proceso de ejecución, es decir, hasta que
punto los resultados alcanzados derivan de una
utilización eficiente de los recursos
financieros, humanos y materiales. En principio,
esto significa comparar los insumos con los
resultados. La dificultad principal a la hora de
medir la eficiencia radica en determinar un valor
de referencia. Esto dependerá del tipo de
proyecto, de las circunstancias locales y de
otros factores.
22
Componentes de la evaluación
Impacto
La eficacia es un criterio de evaluación
restringido, dado que el objetivo específico del
proyecto indica únicamente los efectos positivos
correspondientes a las partes implicadas. Por
contraste, el concepto de impacto es más amplio,
al incluir tanto las consecuencias negativas como
las positivas, hayan sido o no previstas.
Objetivo Especifico
Producto
Insumos
Objetivo Superior
En la evaluación es esencial un amplio análisis
de los impactos de un proyecto. A menudo ésta
será la parte más difícil y absorbente del
trabajo de evaluación. El impacto total es
resultado de condiciones causales y complejas
cuyo análisis puede resultar dificultoso. A la
hora de analizar los impactos, tomaremos como
punto de partida el objetivo general del proyecto
en la forma en que fue definido, así como el
grado de eficacia alcanzado. Se tratará de
atender a efectos, a corto y largo plazo,
económicos, sociales, políticos, técnicos o
ambientales.
23
Componentes de la evaluación
El análisis de la viabilidad de un proyecto
implica algo más que simplemente preguntar si él
mismo ha logrado contribuir a los objetivos
marcados es también importante preguntar si es
probable que la iniciativa continúe después que
la ayuda externa haya finalizado y si la
metodología empleada para el desarrollo de esta
iniciativa puede ser transferible a otras
localidades.
Viabilidad
Objetivo Especifico
Producto
Insumos
Objetivo Superior
En este sentido, los criterios descritos
anteriormente se preocupan en principio
específicamente por el proyecto, mientras que el
análisis de viabilidad del proyecto es más una
cuestión del proceso de desarrollo en sí mismo,
en una perspectiva de más largo plazo. Así, la
viabilidad es en muchos sentidos una prueba de
mayor nivel acerca de si el proyecto ha sido o no
exitoso.
24
Knowledge cafe