Evaluacin de polticas y programas de Salud Natalia Yavich

1
Evaluación de políticas y programas de Salud
Natalia Yavich
Firmat, 20 y 21 de Julio de 2007

• Departamento de Economía y Gestión en Salud
• Maestría de Gestión en Sistemas y Servicios de
  Salud

2
Evaluación

• Proceso de determinar el valor o significación
  de una actividad, política o programa. Es una
  apreciación tan sistemática y objetiva como sea
  posible de una intervención planeada, en curso o
  concluida.
• Development Assitence Committee. (DAC)
  Organización para la Cooperación y el Desarrollo
  (OECD) (2002) Glosario de los principales
  términos sobre evaluación y gestión basada en
  resultados.

3
Primos hermanos

• Monitoreo
• Investigación

4
Monitoreo

• Función continua que utiliza una recopilación
  sistemática de datos sobre indicadores
  especificados para proporcionar a los
  administradores () indicaciones sobre el avance
  y el logro de los objetivos así como de la
  utilización de los fondos.
• Development Assitence Committee. (DAC)
  Organización para la Cooperación y el Desarrollo
  (OECD) (2002) Glosario de los principales
  términos sobre evaluación y gestión basada en
  resultados.

5
Investigación

• Realización de actividades intelectuales y/o
  experimentales de modo sistemático con el
  propósito de aumentar los conocimientos sobre una
  determinada materia.
• Real Academia Española. Diccionario de la Lengua
  Española

6
Trabajo en grupo

• Diferencias entre
• EM y EI

7
Diferencias entre E M
8
Diferencias entre E I
9
Objetos de evaluación

• Proyectos una intervención puntual.
• Programas conjunto de proyectos.
• Políticas conjunto de programas alineados en el
  marco de un conjunto de normas o estándares.
• Organizaciones intervenciones múltiples
  desarrolladas por una misma organización.
• Sectores intervenciones relativas a un
  determinado campo de acción salud, educación,
  etc.
• Temáticas temas particulares que cruzan
  distintas políticas o intervenciones equidad de
  género, pobreza, etc.
• Otras asistencia a países, etc.

10
Propósitos de la evaluación

• Éticos generación de reportes dirigidos a
  tomadores de decisiones y ciudadanos. Rendición
  de cuentas, transparencia.
• Gerenciales mejorar el manejo de los recursos
  financieros y humanos.
• Toma de decisiones Proveer evidencia para
  decidir sobre la continuación, finalización o
  cambio de una política.
• Capacitación y motivación mejora organizacional
  diálogo y cooperación entre actores. Capacitación
  y motivación de los actores vinculados con una
  política, para lograr un mayor involucramiento
  y/o comprensión de la relación entre los procesos
  de trabajo y el logro de los objetivos.

11
Información provista por las evaluaciones

• Sobre la estrategia elegida Es nuestra
  estrategia la mejor opción? (justificación del
  diseño).
• Sobre el desempeño de nuestra estrategia Está
  siendo nuestra estrategia implementada en la
  forma adecuada?
• Lecciones aprendidas Hay otras formas mejores
  de lograr el mismo objetivo?

12
Usos pragmáticos de la evaluación

• Asignación de recursos.
• Replanteo de las causas de un problema.
• Identificar problemas emergentes.
• Apoyar toma de decisiones para seleccionar las
  mejores alternativas o elegir entre alternativas
  competitivas.
• Apoyar decisiones de procesos de reforma o
  innovaciones.
• Construir consenso sobre las causas de un
  problema y los modos de respuesta.

13
Evaluación focalizada en la utilización

• Requerimientos
• Compromiso de los usuarios con la evaluación
• Articulación de evaluadores y usuarios
  principales desde la etapa inicial
• Orientación de la evaluación en función de las
  necesidades de los usuarios.
• De lo contrario es una pérdida de tiempo y dinero.

14
Tipos de Evaluación según responsable de su
conducción

• Evaluación interna
• Evaluación externa
• Evaluación participativa evaluador externo
  stakeholders (decisores y beneficiarios)
  coordinan acciones durante todo el proceso de
  evaluación.

15
Trabajo en grupo

• Ventajas de las
• evaluaciones interna y externa

16
Ventajas de las evaluaciones internas y externas
17
Tipos de evaluación

• Ex ante o prospectiva evaluación de programas o
  datos previos.
• Evaluación formativa dirigida a mejorar el
  desempeño de una intervención.
• Evaluación sumativa orientada a determinar el
  grado en el cual los alcances deseados fueron
  alcanzados por la intervención.

18
(No Transcript)
19
Pasos básicos de una evaluación

• Recolección de datos
• Análisis
• Diseminación de resultados

• Planificación de la evaluación o front-end
  analysis
• Diseño

20
Proceso no lineal
21
A. Planificación de la evaluación o front-end
analysis

• Comprensión de la relación entre las etapas de la
  intervención y la pregunta general de evaluación
  general.
• Comprensión del contexto político de la
  intervención. Identificación de stakeholders
• Construcción de la Teoría o Lógica Subyacente del
  programa.
• Balance de costos y beneficios de la Evaluación.

22
A. 1. Comprensión de la relación entre las etapas
de la intervención y la pregunta general de
evaluación
23
A. 2. Comprensión del contexto político
Identificación de stakeholders
24
Trabajo en grupo15

• Conformación de grupos en torno a una
  intervención
• Consigna
• Relación entre las etapas de la intervención y la
  pregunta general de evaluación.
• Comprensión del contexto político
  Identificación de stakeholders.

25
A. 3. Comprensión de la intervención teoría del
programa

• Recolección de evidencia empírica
• Cadena de acciones (quien provee recursos, quien
  los recibe, cómo se usan, cuáles son los
  obstáculos para alcanzar los efectos se busca
  generar, efectos deseados)

• Recolección de evidencia documental y científica
• a. evaluaciones y análisis de otros programas
  similares y
• b. documentos del programa en cuestión.

Teoría de cambio
26
A. 3. Teoría de cambio Modelos lógicos o teoría
de programas

• Teoría o lógica del programa
• Explicación sistémica y causal de la influencia
  del contexto y de la interacción de componentes
  al interior del sistema.

• Evaluación de productos (outputs)

Inputs
Outputs
?

• Caja Negra

Caja Negra
Outcomes
Inputs
Contexto
27
3. Teoría de Cambio

• Teoría de cambio es la explicitación de las
  relaciones de causa efecto de una intervención.
• Ventajas
• Muestran los lazos entre una cadena de eventos
  que explican las relaciones entre causas y
  efectos.
• Ayudan a pensar cómo medir los distintos
  componentes y comprender su interacción.
• Ayudan a identificar gaps en las cadenas de
  relaciones.
• Ayudan a identificar aspectos críticos de la
  cadena de relaciones.

• Modelos técnicas visuales que ayudan a
  establecer una teoría de cambio.
• Ejemplos
• Teoría del Programa
• Modelos lógicos
• Modelo de Efectos del Programa
• Marco lógico, etc.

28
Teoría del programa (Program Theory)

• Descripción del programa que combina
• Teoría normativa (lo que debe hacerse)
• Teoría de los stakeholders (lo que ocurre)
• en un modelo causal de relaciones (entre el
  problema, la intervención y los efectos
  deseados).
• Utilidad
• Evaluar la relevancia del programa.
• Evaluar la lógica del programa.
• Confrontar el programa con resultados de
  investigaciones.
• Etc.

29
Teoría del programa (Program Theory)
Visitas domiciliarias de enfermeras a padres de
recién nacidos
Enfermeras y padres se conocen comparten visiones
e información
Los padres reciben información sobre la
disponibilidad de vacunas y servicios ofrecidos
en el CS
Las enfermeras comprenden la cultura de los
padres
Las enfermeras identifican problemas en el hogar
(violencia, uso de drogas, padres con
discapacidades)
Consejería con psicólogos, trabajadores
sociales, ayudas especiales para padres
discapacitados
Conciencia de la importancia de la vacunación y
controles, humanización de la relación
profesionales / población
Reconocimiento de necesidades Especiales y
humanización de la relación prof. población
Aumento de lt de un año inmunizados y con esquema
de vacunación completo
30
Modelo de Efectos del Programa (Program Outcome
Model)

• Establece una relación entre
• Recursos invertidos,
• Actividades desarrolladas con esos recursos
• Servicios provistos a partir de esas actividades
  (outputs),
• Cambios generados a partir de los outputs
  (outcomes o efectos)
• Cambios de largo términos generados por la
  intervención (impacto).
• Utilidad construcción de sistemas de M E
  basadas en resultados.

31
Modelo de Efectos del Programa (Program Outcome
Model)
Ejemplo relativo a un programa de capacitación
32
Modelo lógico (Logic Model)

• Se centra en la comprensión de la relación entre
  el programa y sus efectos deseados. Ayuda a
  identificar presupuestos críticos.
• Componentes
• Básicos actividades, productos (outputs),
  resultados (outcomes)
• Otros componentes target (grupos o clientes a
  los cuales se dirigen las activiades), recursos
  (inputs), resultados (cambios) inmediatos,
  intermedios (outcomes) y finales (impacto).
• Las relaciones entre cuadros se grafican con
  flechas que deben leerse como ? si ()
  entonces ()
• Utilidad planificación, gestión, evaluación y
  comunicación.

33
Watson, Diane (2002) Atención Primaria de Salud
(APS) Marco de Rendimiento, Medida Evaluación
CHSPR.
34
Sitios web

• CDC Evaluation Working Group Logic Model
  Resources
• http//www.cdc.gov/eval/resources.htmlogic20mode
  l
• Community Toolbox. A Framework for Program
  Evaluation A Gateway to Tools.
• http//ctb.lsi.ukans.edu/tools/EN/sub_section_main
  _1338.htm
• International Development Research Centre (2004).
  Evaluation Planning in Program Initiatives
  Ottawa, Ontario, Canada. Online
• http//web.idrc.ca/uploads/user-S/108549984812guid
  eline-web.pdf
• Carolien Klein Haarhuis (2005). Promoting
  anti-corruption reforms Evaluating the
  implementation of a World Bank anti-corruption
  program in seven African countries. Available
  online at
• http//igitur-archive.library.uu.nl/dissertations/
  2005-0714-200002/full.pdf
• Management Sciences for Health (MSH) and the
  United Nations Childrens Fund (UNICEF), Quality
  guide Stakeholder analysis in Guide to managing
  for quality.
• http//bsstudents.uce.ac.uk/sdrive/Martin20Beaver
  /Week202/Quality20Guide20-20Stakeholder20Anal
  ysis.htm
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at
• http//www.phac-aspc.gc.ca/php-psp/tookit.html
  (English) or
• http//www.phac-aspc.gc.ca/php-psp/toolkit_fr.html
  (French)
• Taylor-Powell, Ellen (2005). Logic models A
  framework for program planning and evaluation.
  Madison WI University of Wisconsin-Extension,
  Program Development and Evaluation.
• http//www.uwex.edu/ces/pdande/evaluation/pdf/nutr
  itionconf05.pdf
• University of Ottawa Program Evaluation Toolkit.
  Program Logic Model
• http//www.uottawa.ca/academic/med/epid/excerpt.ht
  m
• University of Wisconsin-Extension (UWEX). Logic
  Model
• http//www.uwex.edu/ces/pdande/evaluation/evallogi
  cmodel.html

35
Pasos básicos de una evaluación
36
B. Diseño
1. Definición de preguntas. 2. Selección del
diseño.
37
B. Diseño. Preguntas.
Propósito Dan sentido / dirección a la
evaluación. Requerimientos Claras,
realistas, medibles, centradas en lo importante,
consideración del ciclo político de la
intervención (enfocadas en el uso).
38
B. Diseño. Preguntas.
Tipo de preguntas Descriptivas - Qué?
Quién? Cómo? Cuánto? Cuándo? Dónde?- Foco en
descripción de inputs, actividades, outputs y
opiniones.Normativas - Comparación entre lo
que ocurre y lo que debería ocurrir (target u
objetivo específico).- Foco en medición de
inputs y outputs.Causa-Efecto - Qué cambios
ocurrieron como resultado de la intervención? -
Foco en medición Outcomes e impactos.
39
B. Diseño. Tipos.
Qué diseño se requiere para responder a las
preguntas planteadas?
Contexto intervención
40
Campbell Collaboration

• Información para toma de decisiones sobre efectos
  de intervenciones no médicas.
• Información evaluaciones y diseños.
• Diseminación de revisiones sistemáticas y
  estudios para su uso por decisores, practicantes
  y investigadores.
• http//campbellcollaboration.org

41
C. Recolección de datos
42
C. Recolección de datos

• Sitios Web
• Dunham, Randall B. (1998). The Delphi Technique,
  from Organizational Behavior, University of
  Wisconsin School of Business
• http//instruction.bus.wisc.edu/obdemo/readi
  ngs/delphi.htm
• Evaluators' Instruments Exchange. Online
  http//141.218.173.232120/xchange/default.htf
• Harrell, A. Evaluation Strategies for Human
  Services Programs A Guide for Policymakers and
  Providers. Online http//www.bja.evaluationwebsit
  e.org/html/documents/evaluation_strategies.html
• Carter McNamara, MBA, PhD, General guidelines for
  conducting interviews. Online at
  http//www.managementhelp.org/evaluatn/intrview.ht
  manchor615874
• Nielsen, J. (1997). The use and misuse of focus
  groups. Online http//www.useit.com/papers/focusg
  roups.html
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at
• http//www.phac-aspc.gc.ca/php-psp/tookit.ht
  ml (English) or
• http//www.phac-aspc.gc.ca/php-psp/toolkit_f
  r.html (French)
• The Measurement Group Evaluation/Research Tools.
  Online http//www.themeasurementgroup.com/evalbtt
  n.htm

43
Matriz de diseño de la evaluación
44
E. Análisis de información

• Análisis cuantitativo
• - Estadística descriptiva (frecuencias,
  porcentajes, promedios, moda, desvío estándar,
  etc.)
• - Estadística inferencial (medidas de asociación
  y correlación)
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at
• http//www.phac-aspc.gc.ca/php-psp/tookit.html
  (English) or
• http//www.phac-aspc.gc.ca/php-psp/toolkit_fr.html
  (French)
• StatSoft, Inc. (2001). Electronic Statistics
  Textbook. Tulsa, OK StatSoft.
• http//www.statsoft.com/textbook/stathome.html
• Statistics at Square One
• http//bmj.bmjjournals.com/collections/statsbk/ind
  ex.shtml
• Stat Primer
• http//www2.sjsu.edu/faculty/gerstman/Stat Primer
  
• Statistics Computer Programs
• SPSS (free 30 day download)
• http//www.spss.com
• Online tutorials for SPSS
• Tutorial for SPSS v. 11.5
• http//www.datastep.com/SPSSTraining.html/
• Getting Started with SPSS for Windows

• Análisis cualitativo
• - Análisis de contenido
• Ethonograph website at http//www.qualisresearch.
  com/default.htm
• Qualpro website at http//www.qualproinc.com/
• Hperqual website at http//home.satx.rr.com/hyper
  qual/
• Atlas-ti website at http//www.atlasti.com/
• QSR Software, for N (formerly NUDIST) website
  at http//www.qsr.com.au/
• Loughborough University Department of Social
  Sciences. New methods for the analysis of media
  content. CAQDAS- A primer. http//www.lboro.ac.uk/
  research/mmethods/research/software/caqdas_primer.
  htmlwhat

• Métodos mixtos
• Triangulación de fuentes P y S
• Triangulación de técnicas
• Triangulación de datos
• Para corroboración, informar una técnica con
  otra, complementar

45
E. Diseminación de resultados.

• Feedback continuo y audiencia en mente mejoran
  las
• chances de apropiación de resultados y relevancia
  de la
• evaluación.
• Estructura clásica de un informe final
• Informes parciales
• Antecedentes y contexto de la evaluación.
• Propósito de la evaluación.
• Alcance de la evaluación y metodología.
• Resultados (hallazgos).
• Lecciones aprendidas / Recomendaciones (basadas
  en los hallazgos)