Evaluacin de polticas y programas de Salud Natalia Yavich

1
Evaluación de políticas y programas de Salud
Natalia Yavich
Rosario, 27 y 28 de Julio de 2007

• Departamento de Economía y Gestión en Salud
• Maestría de Gestión en Sistemas y Servicios de
  Salud

2
Diferencias entre

• Monitoreo
• Investigación

• Evaluación

3
Trabajo en grupo

• Definición y
• Diferencias entre
• EM y EI
• 15

4
Evaluación

• Proceso de determinar el valor o significación
  de un objeto de evaluación a partir de criterios
  o estándares.

5
Monitoreo

• Recopilación sistemática de datos sobre
  indicadores especificados (por el staff de una
  organización) en forma continua y rutinaria, con
  el fin de proporcionar a los administradores
  indicaciones sobre el estado de avance en el
  logro de los objetivos de la organización y la
  utilización de los fondos.

6
Diferencias entre E M
7
Investigación

• Realización de actividades intelectuales y/o
  experimentales de modo sistemático con el
  propósito de aumentar los conocimientos sobre una
  determinada materia.
• Real Academia Española. Diccionario de la Lengua
  Española

8
Diferencias entre E I
9
Objetos de evaluación

• Proyectos una intervención desarrollada en uno o
  más lugares.
• Programas conjunto de proyectos desarrollados
  bajo un mismo objetivo.
• Políticas conjunto de acciones desarrolladas por
  una organización, alineadas bajo un marco
  normativo o regulativo. Ej. Salud sexual y
  reproductiva.
• Organizaciones intervenciones múltiples
  desarrolladas por una misma organización.
• Sectores intervenciones relativas a un
  determinado campo de acción salud, educación,
  agriculatura, etc.
• Temáticas temas particulares que cruzan
  distintas políticas o intervenciones equidad de
  género, pobreza, exclusión social, objetivos del
  milenio, etc.
• Otras asistencia a países, etc.

10
Propósitos de la evaluación

• Toma de decisiones Proveer evidencia para
  decidir sobre la continuación, finalización o
  cambio de una política.
• Gerenciales optimizar el manejo de los recursos
  financieros y humanos.
• Capacitación y motivación mejora organizacional
  diálogo y cooperación entre actores. Capacitación
  y motivación de los actores vinculados con una
  política, para lograr un mayor involucramiento
  y/o comprensión de la relación entre los procesos
  de trabajo y el logro de los objetivos.
• Éticos informar a tomadores de decisiones y
  ciudadanos sobre los resultados de una
  intervención. Fines informar, rendir de cuentas,
  gt transparencia.

11
Uso de la evaluación

• Una evaluación no utilizada es una
• pérdida de tiempo y dinero.
• Evaluación focalizada en el uso
• Supuestos
• Identificación temprana e involucramiento de los
  usuarios.
• Compromiso de los usuarios con la evaluación
• Articulación de evaluadores y usuarios
  principales desde la etapa inicial
• Orientación de la evaluación en función de las
  necesidades de los usuarios.
• Objetivos de la E.F.U. (impacto uso)
• Apropiación de la evaluación por los usuarios
• Relevancia de la evaluación

12
Información provista por las evaluaciones

• Información que ayuda a determinar
• Si la estrategia elegida es la mejor opción y
  cuál es la T. de cambio (justificación del
  diseño).
• Si la estrategia está siendo implementada en la
  forma adecuada (efectividad, eficacia,
  aceptabilidad).
• Si existen otras formas mejores de lograr el
  mismo objetivo (alternativas)

13
Quién puede conducir una evaluación?

• Evaluación interna se conduce dentro de la
  organización.
• Evaluación externa se conduce por fuera de la
  organización.
• Evaluación participativa evaluador externo
  stakeholders (actores involucrados en el
  desarrollo de la intervención y actores afectados
  por ella) trabajan juntos en el diseño,
  desarrollo y análisis de la evaluación.

14
Trabajo en grupo

• Ventajas de la evaluación
• interna y externa
• 10

15
Ventajas de las evaluaciones internas y externas
16
Tipos de evaluación

• Ex ante o prospectiva evaluación de programas o
  datos previos. (justificación)
• Evaluación formativa dirigida a mejorar el
  desempeño de una intervención. (desempeño)
• Evaluación sumativa orientada a determinar el
  grado en el cual los alcances deseados fueron
  alcanzados por la intervención. (decisiones)

17
(No Transcript)
18
Pasos básicos de una evaluación

• Recolección de datos
• Análisis
• Diseminación de resultados

• Comprensión de la intervención o front-end
  analysis
• Diseño

19
Proceso no lineal
20
A. Comprensión profunda de la intervención o
front-end analysis

• Dimensiones
• Comprensión de la relación entre las etapas de la
  intervención y la pregunta general de evaluación
  general.
• Comprensión del contexto contexto de la
  intervención, stakeholders y necesidades.
• Recolección de evidencia empírica y teórica sobre
  la intervención.
• Construcción de una teoría de cambio.
• Balance de costos y beneficios de la Evaluación.

21
A. 1. Comprensión de la relación entre las etapas
de la intervención y la pregunta general de
evaluación
22
A. 2. Comprensión del contexto contexto de la
política, stakeholders y necesidades.

• Diferencias del contexto del ámbito de la
  intervención modelo y de ámbito de replicación de
  la intervención.
• Características del sistema de salud
• Recursos
• Características de la población, etc.
• Identificación de SH
• Revisión de documentos
• Tormenta de ideas
• Entrevistas con gerentes, staff, proveedores,
  etc.
• Entrevista con beneficiarios
• Bola de nieve
• Observaciones en campo
• Identificación de necesidades
• Identificación de puntos críticos de la
  intervención, información referida, por quien y
  cuándo
• Talleres
• Entrevistas

23
A. 2. Comprensión del contexto político
Identificación de stakeholders estratégicos e
involucramiento

• Identificación de SH estratégicos
• Actores con capacidad de influenciar en la
  intervención.
• Involucramiento de SH
• Pertinencia de la evaluación
• Factibilidad (ej. acceso a la información y al
  campo)
• Aceptación de los resultados y recomendaciones

24
A. 2. Comprensión del contexto político
Análisis de stakeholders
25
Trabajo en grupo15

• Consigna
• Conformación de grupos en torno a una
  intervención
• Relación entre las etapas de la intervención y la
  pregunta general de evaluación.
• Comprensión del contexto político
  Identificación de stakeholders.

26
A. 3. Recolección de evidencia empírica y
teórica sobre la intervención.

• Recolección de información sobre
• a. evaluaciones y análisis de otros programas
  similares
• b. Conocimiento científico sobre la materia.
• Fuentes de información
• Scielo
• LILACS
• Medline
• Cochrane Collaboration
• Campbell Collaboration
• Etc.

27
Campbell Collaboration

• Información para toma de decisiones sobre efectos
  de intervenciones no médicas.
• Información evaluaciones y diseños.
• Diseminación de revisiones sistemáticas y
  estudios para su uso por decisores, practicantes
  y investigadores.

28
A. 4. Construcción, testeo y reconstrucción de
una teoría de cambio.

• Teoría de cambio.
• Explicación causal que muestra los mecanismos y
  cadena de acciones a través de los cuales se
  espera que la intervención alcance los resultados
  deseados.
• Esta explicación explicita la lógica y teórica
  subyacente de la intervención.

29
A. 4. Construcción de una teoría de cambio.

• Modelos orientados a explicar los mecanismos a
  través de los cuales una intervención genera los
  efectos deseados.
• Modelos son técnicas visuales que ayudan a
  construir una teoría de cambio.
• Ej.
• Teoría del Programa
• Modelo lógico
• Modelo de Efectos del Programa
• Marco lógico, etc.

• Evaluación de productos (outputs)

Inputs
Outputs
?

• Caja Negra

Caja Negra
Outcomes
Inputs
Contexto
30
4. Teoría de Cambio

• Ventajas de contar con una T. de cambio
• Muestran en una cadena de acciones las relaciones
  de causa-efecto de cada componente.
• Ayudan a pensar cómo medir los distintos
  componentes por separado.
• Ayudan a comprender la interacción entre
  distintos componentes de la intervención.
• Ayudan a identificar agujeros en las cadenas de
  relaciones.
• Ayudan a identificar aspectos críticos de la
  cadena de relaciones.

31
4. Teoría de cambio. Teoría del programa
(Program Theory)

• Program Theory o theory based-evaluation
• Es una descripción del programa que combina
• Teoría normativa (lo que debe hacerse)
• Teoría de los stakeholders (lo que ocurre)
• en un modelo causal de relaciones (entre el
  problema, la intervención y los efectos
  deseados).
• Finalidad
• Ayuda a conocer la naturaleza del problema y su
  relación con la intervención y los efectos
  deseados.
• Utilidad
• Evaluar la relevancia del programa.
• Evaluar la lógica del programa.
• Confrontar el programa con resultados de
  investigaciones.

32
Teoría del programa (Program Theory)
Visitas domiciliarias de enfermeras a padres de
recién nacidos
Enfermeras y padres se conocen comparten visiones
e información
Los padres reciben información sobre la
disponibilidad de vacunas y servicios ofrecidos
en el CS
Las enfermeras identifican problemas en el hogar
(violencia, uso de drogas, padres con
discapacidades)
Las enfermeras comprenden la cultura de los
padres y cambian su estrategia de comunicación.
Los padres reciben consejería con psicólogos,
trabajadores sociales, ayudas especiales para
padres discapacitados
Los padres son más receptivos a los concejos
médicos, toman gt conciencia sobre la
importancia de la vacunación y controles de salud
Reconocen necesidades Especiales gt Humanización
de la relación prof./ población
Aumento en el de niños lt de un año con
controles de salud y con esquema de vacunación
completo
33
Modelo de Efectos del Programa (Program Outcome
Model)

• Es un retrato de la intervención en términos de
• Recursos invertidos,
• Actividades desarrolladas con esos recursos
• Servicios provistos a partir de esas actividades
  (outputs),
• Cambios generados a partir de los outputs
  (outcomes o efectos)
• Cambios de largo términos generados por la
  intervención (impacto).
• Utilidad construcción de sistemas de M E
  basadas en resultados.

34
Modelo de Efectos del Programa (Program Outcome
Model)
Ejemplo relativo a un programa de capacitación
35
Modelo lógico (Logic Model)

• Se centra en la comprensión de la relación entre
  el funcionamiento del programa, organización, o
  iniciativa y los efectos deseados.
• Representa el modo en que se espera que una
  intervención alcance los efectos deseados
• Se grafica como presupuestos críticos
• Las relaciones entre cuadros se grafican con
  flechas que deben leerse como ? si ()
  entonces ()
• Componentes
• Básicos actividades, productos (outputs),
  resultados (outcomes)
• Otros componentes target (grupos o clientes a
  los cuales se dirigen las activiades), recursos
  (inputs), resultados (cambios) inmediatos,
  intermedios (outcomes) y finales (impacto).
• Utilidad
• Ayuda a identificar presupuestos críticos.
• Herramienta de planificación, gestión, evaluación
  y comunicación.

36
Watson, Diane (2002) Atención Primaria de Salud
(APS) Marco de Rendimiento, Medida Evaluación
CHSPR.
37
A.5. Balance de costos y beneficios de la
Evaluación.

• Beneficios
• Comprensión profunda de la intervención.
• Especificación del contexto y su influencia.
• Etc.
• Costos
• Costo de la evaluación en relación al costo del
  programa.
• Costos de reputación cuando los resultados de la
  evaluación puedan ser controversiales.
• Etc.

38
Trabajo en grupo40

• Consigna
• Seleccionar el modelo más apropiado para graficar
  la intervención seleccionada.
• Graficar la intervención utilizando el modelo
  seleccionado.

39
Sitios web

• CDC Evaluation Working Group Logic Model
  Resources
• http//www.cdc.gov/eval/resources.htmlogic20mode
  l
• Community Toolbox. A Framework for Program
  Evaluation A Gateway to Tools.
• http//ctb.lsi.ukans.edu/tools/EN/sub_section_main
  _1338.htm
• International Development Research Centre (2004).
  Evaluation Planning in Program Initiatives
  Ottawa, Ontario, Canada. Online
• http//web.idrc.ca/uploads/user-S/108549984812guid
  eline-web.pdf
• Management Sciences for Health (MSH) and the
  United Nations Childrens Fund (UNICEF), Quality
  guide Stakeholder analysis in Guide to managing
  for quality.
• http//bsstudents.uce.ac.uk/sdrive/Martin20Beaver
  /Week202/Quality20Guide20-20Stakeholder20Anal
  ysis.htm
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at http//www.uottawa.ca/academic
  /med/epid/toolkitdesc.htm 
• Taylor-Powell, Ellen (2005). Logic models A
  framework for program planning and evaluation.
  Madison WI University of Wisconsin-Extension,
  Program Development and Evaluation.
• http//www.uwex.edu/ces/pdande/evaluation/pdf/nutr
  itionconf05.pdf
• University of Ottawa Program Evaluation Toolkit.
  Program Logic Model
• http//www.pnud.ne/RENSE/Ipdet20f/nar20220f.pdf
  
• University of Wisconsin-Extension (UWEX). Logic
  Model
• http//www.uwex.edu/ces/pdande/evaluation/evallogi
  cmodel.html
• University of Wisconsin-Extension examples of
  logic models.
• http//www.uwex.edu/ces/pdande/evaluation/evallogi
  cmodelexamples.html
• W.K. Kellogg Evaluation Logic Model Development
  Guide
• http//www.wkkf.org/pubs/tools/evaluation/pub3669.
  pdf

40
Pasos básicos de una evaluación
41
B. Diseño
1. Definición de preguntas.2. Selección
del diseño.
42
B. Diseño. Preguntas.
Propósito Dan sentido / dirección a la
evaluación. Requerimientos Claras,
realistas, medibles, centradas en lo importante,
consideración del ciclo político de la
intervención (enfocadas en el uso).
43
B. Diseño. Preguntas.
Tipo de preguntas Descriptivas - Qué?
Quién? Cómo? Cuánto? Cuándo? Dónde?- Foco en
descripción de inputs, actividades, outputs y
opiniones.Normativas - Comparación entre lo
que ocurre y lo que debería ocurrir (target u
objetivo específico).- Foco en medición de
inputs y outputs.Causa-Efecto - Qué cambios
ocurrieron como resultado de la intervención? -
Foco en medición Outcomes e impactos.
44
B. Diseño. Tipos.
Qué diseño se requiere para responder a las
preguntas planteadas?
Contexto intervención
45
C. Recolección de datos
46
C. Recolección de datos

• Sitios Web
• Dunham, Randall B. (1998). The Delphi Technique,
  from Organizational Behavior, University of
  Wisconsin School of Business
• http//instruction.bus.wisc.edu/obdemo/readi
  ngs/delphi.htm
• Evaluators' Instruments Exchange. Online
  http//141.218.173.232120/xchange/default.htf
• Harrell, A. Evaluation Strategies for Human
  Services Programs A Guide for Policymakers and
  Providers. Online http//www.bja.evaluationwebsit
  e.org/html/documents/evaluation_strategies.html
• Carter McNamara, MBA, PhD, General guidelines for
  conducting interviews. Online at
  http//www.managementhelp.org/evaluatn/intrview.ht
  manchor615874
• Nielsen, J. (1997). The use and misuse of focus
  groups. Online http//www.useit.com/papers/focusg
  roups.html
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at
• http//www.phac-aspc.gc.ca/php-psp/tookit.ht
  ml (English) or
• http//www.phac-aspc.gc.ca/php-psp/toolkit_f
  r.html (French)
• The Measurement Group Evaluation/Research Tools.
  Online http//www.themeasurementgroup.com/evalbtt
  n.htm

47
Matriz de diseño de la evaluación
Intervención Innovación organizacional centrada
en la generación de nuevos mecanismos de
coordinación inter e intra organizacinal para
mejorar la continuidad de la atención
48
E. Análisis de información

• Análisis cuantitativo
• - Estadística descriptiva (frecuencias,
  porcentajes, promedios, moda, desvío estándar,
  etc.)
• - Estadística inferencial (medidas de asociación
  y correlación)
• Porteous, Nancy L., Sheldrick, B.J., and Stewart,
  P.J. (1997). Program evaluation tool kit A
  blueprint for public health management. Ottawa,
  Canada Ottawa-Carleton Health Department.
  Available online at
• http//www.phac-aspc.gc.ca/php-psp/tookit.html
  (English) or
• http//www.phac-aspc.gc.ca/php-psp/toolkit_fr.html
  (French)
• StatSoft, Inc. (2001). Electronic Statistics
  Textbook. Tulsa, OK StatSoft.
• http//www.statsoft.com/textbook/stathome.html
• Statistics at Square One
• http//bmj.bmjjournals.com/collections/statsbk/ind
  ex.shtml
• Stat Primer
• http//www2.sjsu.edu/faculty/gerstman/Stat Primer
  
• Statistics Computer Programs
• SPSS (free 30 day download)
• http//www.spss.com
• Online tutorials for SPSS
• Tutorial for SPSS v. 11.5
• http//www.datastep.com/SPSSTraining.html/
• Getting Started with SPSS for Windows

• Análisis cualitativo
• - Análisis de contenido
• Ethonograph website at http//www.qualisresearch.
  com/default.htm
• Qualpro website at http//www.qualproinc.com/
• Hperqual website at http//home.satx.rr.com/hyper
  qual/
• Atlas-ti website at http//www.atlasti.com/
• QSR Software, for N (formerly NUDIST) website
  at http//www.qsr.com.au/
• Loughborough University Department of Social
  Sciences. New methods for the analysis of media
  content. CAQDAS- A primer. http//www.lboro.ac.uk/
  research/mmethods/research/software/caqdas_primer.
  htmlwhat

• Métodos mixtos
• Triangulación de fuentes P y S
• Triangulación de técnicas
• Triangulación de datos
• Para corroboración, informar una técnica con
  otra, complementar

49
E. Diseminación de resultados.

• Feedback continuo y audiencia en mente mejoran
  las
• chances de apropiación de resultados y relevancia
  de la
• evaluación.
• Estructura clásica de un informe final
• Informes parciales
• Antecedentes y contexto de la evaluación.
• Propósito de la evaluación.
• Alcance de la evaluación y metodología.
• Resultados (hallazgos).
• Lecciones aprendidas / Recomendaciones (basadas
  en los hallazgos)