Evaluacin de polticas y programas de Salud Natalia Yavich - PowerPoint PPT Presentation

Loading...

PPT – Evaluacin de polticas y programas de Salud Natalia Yavich PowerPoint presentation | free to view - id: 278a8c-OTFhZ



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Evaluacin de polticas y programas de Salud Natalia Yavich

Description:

Proceso de determinar el valor o significaci n de un objeto de evaluaci n a ... Carter McNamara, MBA, PhD, General guidelines for conducting interviews. ... – PowerPoint PPT presentation

Number of Views:97
Avg rating:3.0/5.0
Slides: 50
Provided by: susana78
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Evaluacin de polticas y programas de Salud Natalia Yavich


1
Evaluación de políticas y programas de Salud
Natalia Yavich
Rosario, 27 y 28 de Julio de 2007
  • Departamento de Economía y Gestión en Salud
  • Maestría de Gestión en Sistemas y Servicios de
    Salud

2
Diferencias entre
  • Monitoreo
  • Investigación
  • Evaluación

3
Trabajo en grupo
  • Definición y
  • Diferencias entre
  • EM y EI
  • 15

4
Evaluación
  • Proceso de determinar el valor o significación
    de un objeto de evaluación a partir de criterios
    o estándares.

5
Monitoreo
  • Recopilación sistemática de datos sobre
    indicadores especificados (por el staff de una
    organización) en forma continua y rutinaria, con
    el fin de proporcionar a los administradores
    indicaciones sobre el estado de avance en el
    logro de los objetivos de la organización y la
    utilización de los fondos.

6
Diferencias entre E M
7
Investigación
  • Realización de actividades intelectuales y/o
    experimentales de modo sistemático con el
    propósito de aumentar los conocimientos sobre una
    determinada materia.
  • Real Academia Española. Diccionario de la Lengua
    Española

8
Diferencias entre E I
9
Objetos de evaluación
  • Proyectos una intervención desarrollada en uno o
    más lugares.
  • Programas conjunto de proyectos desarrollados
    bajo un mismo objetivo.
  • Políticas conjunto de acciones desarrolladas por
    una organización, alineadas bajo un marco
    normativo o regulativo. Ej. Salud sexual y
    reproductiva.
  • Organizaciones intervenciones múltiples
    desarrolladas por una misma organización.
  • Sectores intervenciones relativas a un
    determinado campo de acción salud, educación,
    agriculatura, etc.
  • Temáticas temas particulares que cruzan
    distintas políticas o intervenciones equidad de
    género, pobreza, exclusión social, objetivos del
    milenio, etc.
  • Otras asistencia a países, etc.

10
Propósitos de la evaluación
  • Toma de decisiones Proveer evidencia para
    decidir sobre la continuación, finalización o
    cambio de una política.
  • Gerenciales optimizar el manejo de los recursos
    financieros y humanos.
  • Capacitación y motivación mejora organizacional
    diálogo y cooperación entre actores. Capacitación
    y motivación de los actores vinculados con una
    política, para lograr un mayor involucramiento
    y/o comprensión de la relación entre los procesos
    de trabajo y el logro de los objetivos.
  • Éticos informar a tomadores de decisiones y
    ciudadanos sobre los resultados de una
    intervención. Fines informar, rendir de cuentas,
    gt transparencia.

11
Uso de la evaluación
  • Una evaluación no utilizada es una
  • pérdida de tiempo y dinero.
  • Evaluación focalizada en el uso
  • Supuestos
  • Identificación temprana e involucramiento de los
    usuarios.
  • Compromiso de los usuarios con la evaluación
  • Articulación de evaluadores y usuarios
    principales desde la etapa inicial
  • Orientación de la evaluación en función de las
    necesidades de los usuarios.
  • Objetivos de la E.F.U. (impacto uso)
  • Apropiación de la evaluación por los usuarios
  • Relevancia de la evaluación

12
Información provista por las evaluaciones
  • Información que ayuda a determinar
  • Si la estrategia elegida es la mejor opción y
    cuál es la T. de cambio (justificación del
    diseño).
  • Si la estrategia está siendo implementada en la
    forma adecuada (efectividad, eficacia,
    aceptabilidad).
  • Si existen otras formas mejores de lograr el
    mismo objetivo (alternativas)

13
Quién puede conducir una evaluación?
  • Evaluación interna se conduce dentro de la
    organización.
  • Evaluación externa se conduce por fuera de la
    organización.
  • Evaluación participativa evaluador externo
    stakeholders (actores involucrados en el
    desarrollo de la intervención y actores afectados
    por ella) trabajan juntos en el diseño,
    desarrollo y análisis de la evaluación.

14
Trabajo en grupo
  • Ventajas de la evaluación
  • interna y externa
  • 10

15
Ventajas de las evaluaciones internas y externas
16
Tipos de evaluación
  • Ex ante o prospectiva evaluación de programas o
    datos previos. (justificación)
  • Evaluación formativa dirigida a mejorar el
    desempeño de una intervención. (desempeño)
  • Evaluación sumativa orientada a determinar el
    grado en el cual los alcances deseados fueron
    alcanzados por la intervención. (decisiones)

17
(No Transcript)
18
Pasos básicos de una evaluación
  • Recolección de datos
  • Análisis
  • Diseminación de resultados
  • Comprensión de la intervención o front-end
    analysis
  • Diseño

19
Proceso no lineal
20
A. Comprensión profunda de la intervención o
front-end analysis
  • Dimensiones
  • Comprensión de la relación entre las etapas de la
    intervención y la pregunta general de evaluación
    general.
  • Comprensión del contexto contexto de la
    intervención, stakeholders y necesidades.
  • Recolección de evidencia empírica y teórica sobre
    la intervención.
  • Construcción de una teoría de cambio.
  • Balance de costos y beneficios de la Evaluación.

21
A. 1. Comprensión de la relación entre las etapas
de la intervención y la pregunta general de
evaluación
22
A. 2. Comprensión del contexto contexto de la
política, stakeholders y necesidades.
  • Diferencias del contexto del ámbito de la
    intervención modelo y de ámbito de replicación de
    la intervención.
  • Características del sistema de salud
  • Recursos
  • Características de la población, etc.
  • Identificación de SH
  • Revisión de documentos
  • Tormenta de ideas
  • Entrevistas con gerentes, staff, proveedores,
    etc.
  • Entrevista con beneficiarios
  • Bola de nieve
  • Observaciones en campo
  • Identificación de necesidades
  • Identificación de puntos críticos de la
    intervención, información referida, por quien y
    cuándo
  • Talleres
  • Entrevistas

23
A. 2. Comprensión del contexto político
Identificación de stakeholders estratégicos e
involucramiento
  • Identificación de SH estratégicos
  • Actores con capacidad de influenciar en la
    intervención.
  • Involucramiento de SH
  • Pertinencia de la evaluación
  • Factibilidad (ej. acceso a la información y al
    campo)
  • Aceptación de los resultados y recomendaciones

24
A. 2. Comprensión del contexto político
Análisis de stakeholders
25
Trabajo en grupo15
  • Consigna
  • Conformación de grupos en torno a una
    intervención
  • Relación entre las etapas de la intervención y la
    pregunta general de evaluación.
  • Comprensión del contexto político
    Identificación de stakeholders.

26
A. 3. Recolección de evidencia empírica y
teórica sobre la intervención.
  • Recolección de información sobre
  • a. evaluaciones y análisis de otros programas
    similares
  • b. Conocimiento científico sobre la materia.
  • Fuentes de información
  • Scielo
  • LILACS
  • Medline
  • Cochrane Collaboration
  • Campbell Collaboration
  • Etc.

27
Campbell Collaboration
  • Información para toma de decisiones sobre efectos
    de intervenciones no médicas.
  • Información evaluaciones y diseños.
  • Diseminación de revisiones sistemáticas y
    estudios para su uso por decisores, practicantes
    y investigadores.

28
A. 4. Construcción, testeo y reconstrucción de
una teoría de cambio.
  • Teoría de cambio.
  • Explicación causal que muestra los mecanismos y
    cadena de acciones a través de los cuales se
    espera que la intervención alcance los resultados
    deseados.
  • Esta explicación explicita la lógica y teórica
    subyacente de la intervención.

29
A. 4. Construcción de una teoría de cambio.
  • Modelos orientados a explicar los mecanismos a
    través de los cuales una intervención genera los
    efectos deseados.
  • Modelos son técnicas visuales que ayudan a
    construir una teoría de cambio.
  • Ej.
  • Teoría del Programa
  • Modelo lógico
  • Modelo de Efectos del Programa
  • Marco lógico, etc.
  • Evaluación de productos (outputs)

Inputs
Outputs
?
  • Caja Negra

Caja Negra
Outcomes
Inputs
Contexto
30
4. Teoría de Cambio
  • Ventajas de contar con una T. de cambio
  • Muestran en una cadena de acciones las relaciones
    de causa-efecto de cada componente.
  • Ayudan a pensar cómo medir los distintos
    componentes por separado.
  • Ayudan a comprender la interacción entre
    distintos componentes de la intervención.
  • Ayudan a identificar agujeros en las cadenas de
    relaciones.
  • Ayudan a identificar aspectos críticos de la
    cadena de relaciones.

31
4. Teoría de cambio. Teoría del programa
(Program Theory)
  • Program Theory o theory based-evaluation
  • Es una descripción del programa que combina
  • Teoría normativa (lo que debe hacerse)
  • Teoría de los stakeholders (lo que ocurre)
  • en un modelo causal de relaciones (entre el
    problema, la intervención y los efectos
    deseados).
  • Finalidad
  • Ayuda a conocer la naturaleza del problema y su
    relación con la intervención y los efectos
    deseados.
  • Utilidad
  • Evaluar la relevancia del programa.
  • Evaluar la lógica del programa.
  • Confrontar el programa con resultados de
    investigaciones.

32
Teoría del programa (Program Theory)
Visitas domiciliarias de enfermeras a padres de
recién nacidos
Enfermeras y padres se conocen comparten visiones
e información
Los padres reciben información sobre la
disponibilidad de vacunas y servicios ofrecidos
en el CS
Las enfermeras identifican problemas en el hogar
(violencia, uso de drogas, padres con
discapacidades)
Las enfermeras comprenden la cultura de los
padres y cambian su estrategia de comunicación.
Los padres reciben consejería con psicólogos,
trabajadores sociales, ayudas especiales para
padres discapacitados
Los padres son más receptivos a los concejos
médicos, toman gt conciencia sobre la
importancia de la vacunación y controles de salud
Reconocen necesidades Especiales gt Humanización
de la relación prof./ población
Aumento en el de niños lt de un año con
controles de salud y con esquema de vacunación
completo
33
Modelo de Efectos del Programa (Program Outcome
Model)
  • Es un retrato de la intervención en términos de
  • Recursos invertidos,
  • Actividades desarrolladas con esos recursos
  • Servicios provistos a partir de esas actividades
    (outputs),
  • Cambios generados a partir de los outputs
    (outcomes o efectos)
  • Cambios de largo términos generados por la
    intervención (impacto).
  • Utilidad construcción de sistemas de M E
    basadas en resultados.

34
Modelo de Efectos del Programa (Program Outcome
Model)
Ejemplo relativo a un programa de capacitación
35
Modelo lógico (Logic Model)
  • Se centra en la comprensión de la relación entre
    el funcionamiento del programa, organización, o
    iniciativa y los efectos deseados.
  • Representa el modo en que se espera que una
    intervención alcance los efectos deseados
  • Se grafica como presupuestos críticos
  • Las relaciones entre cuadros se grafican con
    flechas que deben leerse como ? si ()
    entonces ()
  • Componentes
  • Básicos actividades, productos (outputs),
    resultados (outcomes)
  • Otros componentes target (grupos o clientes a
    los cuales se dirigen las activiades), recursos
    (inputs), resultados (cambios) inmediatos,
    intermedios (outcomes) y finales (impacto).
  • Utilidad
  • Ayuda a identificar presupuestos críticos.
  • Herramienta de planificación, gestión, evaluación
    y comunicación.

36
Watson, Diane (2002) Atención Primaria de Salud
(APS) Marco de Rendimiento, Medida Evaluación
CHSPR.
37
A.5. Balance de costos y beneficios de la
Evaluación.
  • Beneficios
  • Comprensión profunda de la intervención.
  • Especificación del contexto y su influencia.
  • Etc.
  • Costos
  • Costo de la evaluación en relación al costo del
    programa.
  • Costos de reputación cuando los resultados de la
    evaluación puedan ser controversiales.
  • Etc.

38
Trabajo en grupo40
  • Consigna
  • Seleccionar el modelo más apropiado para graficar
    la intervención seleccionada.
  • Graficar la intervención utilizando el modelo
    seleccionado.

39
Sitios web
  • CDC Evaluation Working Group Logic Model
    Resources
  • http//www.cdc.gov/eval/resources.htmlogic20mode
    l
  • Community Toolbox. A Framework for Program
    Evaluation A Gateway to Tools.
  • http//ctb.lsi.ukans.edu/tools/EN/sub_section_main
    _1338.htm
  • International Development Research Centre (2004).
    Evaluation Planning in Program Initiatives
    Ottawa, Ontario, Canada. Online
  • http//web.idrc.ca/uploads/user-S/108549984812guid
    eline-web.pdf
  • Management Sciences for Health (MSH) and the
    United Nations Childrens Fund (UNICEF), Quality
    guide Stakeholder analysis in Guide to managing
    for quality.
  • http//bsstudents.uce.ac.uk/sdrive/Martin20Beaver
    /Week202/Quality20Guide20-20Stakeholder20Anal
    ysis.htm
  • Porteous, Nancy L., Sheldrick, B.J., and Stewart,
    P.J. (1997). Program evaluation tool kit A
    blueprint for public health management. Ottawa,
    Canada Ottawa-Carleton Health Department.
    Available online at http//www.uottawa.ca/academic
    /med/epid/toolkitdesc.htm 
  • Taylor-Powell, Ellen (2005). Logic models A
    framework for program planning and evaluation.
    Madison WI University of Wisconsin-Extension,
    Program Development and Evaluation.
  • http//www.uwex.edu/ces/pdande/evaluation/pdf/nutr
    itionconf05.pdf
  • University of Ottawa Program Evaluation Toolkit.
    Program Logic Model
  • http//www.pnud.ne/RENSE/Ipdet20f/nar20220f.pdf
  • University of Wisconsin-Extension (UWEX). Logic
    Model
  • http//www.uwex.edu/ces/pdande/evaluation/evallogi
    cmodel.html
  • University of Wisconsin-Extension examples of
    logic models.
  • http//www.uwex.edu/ces/pdande/evaluation/evallogi
    cmodelexamples.html
  • W.K. Kellogg Evaluation Logic Model Development
    Guide
  • http//www.wkkf.org/pubs/tools/evaluation/pub3669.
    pdf

40
Pasos básicos de una evaluación
41
B. Diseño
1. Definición de preguntas.2. Selección
del diseño.
42
B. Diseño. Preguntas.
Propósito Dan sentido / dirección a la
evaluación. Requerimientos Claras,
realistas, medibles, centradas en lo importante,
consideración del ciclo político de la
intervención (enfocadas en el uso).
43
B. Diseño. Preguntas.
Tipo de preguntas Descriptivas - Qué?
Quién? Cómo? Cuánto? Cuándo? Dónde?- Foco en
descripción de inputs, actividades, outputs y
opiniones.Normativas - Comparación entre lo
que ocurre y lo que debería ocurrir (target u
objetivo específico).- Foco en medición de
inputs y outputs.Causa-Efecto - Qué cambios
ocurrieron como resultado de la intervención? -
Foco en medición Outcomes e impactos.
44
B. Diseño. Tipos.
Qué diseño se requiere para responder a las
preguntas planteadas?
Contexto intervención
45
C. Recolección de datos
46
C. Recolección de datos
  • Sitios Web
  • Dunham, Randall B. (1998). The Delphi Technique,
    from Organizational Behavior, University of
    Wisconsin School of Business
  • http//instruction.bus.wisc.edu/obdemo/readi
    ngs/delphi.htm
  • Evaluators' Instruments Exchange. Online
    http//141.218.173.232120/xchange/default.htf
  • Harrell, A. Evaluation Strategies for Human
    Services Programs A Guide for Policymakers and
    Providers. Online http//www.bja.evaluationwebsit
    e.org/html/documents/evaluation_strategies.html
  • Carter McNamara, MBA, PhD, General guidelines for
    conducting interviews. Online at
    http//www.managementhelp.org/evaluatn/intrview.ht
    manchor615874
  • Nielsen, J. (1997). The use and misuse of focus
    groups. Online http//www.useit.com/papers/focusg
    roups.html
  • Porteous, Nancy L., Sheldrick, B.J., and Stewart,
    P.J. (1997). Program evaluation tool kit A
    blueprint for public health management. Ottawa,
    Canada Ottawa-Carleton Health Department.
    Available online at
  • http//www.phac-aspc.gc.ca/php-psp/tookit.ht
    ml (English) or
  • http//www.phac-aspc.gc.ca/php-psp/toolkit_f
    r.html (French)
  • The Measurement Group Evaluation/Research Tools.
    Online http//www.themeasurementgroup.com/evalbtt
    n.htm

47
Matriz de diseño de la evaluación
Intervención Innovación organizacional centrada
en la generación de nuevos mecanismos de
coordinación inter e intra organizacinal para
mejorar la continuidad de la atención
48
E. Análisis de información
  • Análisis cuantitativo
  • - Estadística descriptiva (frecuencias,
    porcentajes, promedios, moda, desvío estándar,
    etc.)
  • - Estadística inferencial (medidas de asociación
    y correlación)
  • Porteous, Nancy L., Sheldrick, B.J., and Stewart,
    P.J. (1997). Program evaluation tool kit A
    blueprint for public health management. Ottawa,
    Canada Ottawa-Carleton Health Department.
    Available online at
  • http//www.phac-aspc.gc.ca/php-psp/tookit.html
    (English) or
  • http//www.phac-aspc.gc.ca/php-psp/toolkit_fr.html
    (French)
  • StatSoft, Inc. (2001). Electronic Statistics
    Textbook. Tulsa, OK StatSoft.
  • http//www.statsoft.com/textbook/stathome.html
  • Statistics at Square One
  • http//bmj.bmjjournals.com/collections/statsbk/ind
    ex.shtml
  • Stat Primer
  • http//www2.sjsu.edu/faculty/gerstman/Stat Primer
  • Statistics Computer Programs
  • SPSS (free 30 day download)
  • http//www.spss.com
  • Online tutorials for SPSS
  • Tutorial for SPSS v. 11.5
  • http//www.datastep.com/SPSSTraining.html/
  • Getting Started with SPSS for Windows
  • Análisis cualitativo
  • - Análisis de contenido
  • Ethonograph website at http//www.qualisresearch.
    com/default.htm
  • Qualpro website at http//www.qualproinc.com/
  • Hperqual website at http//home.satx.rr.com/hyper
    qual/
  • Atlas-ti website at http//www.atlasti.com/
  • QSR Software, for N (formerly NUDIST) website
    at http//www.qsr.com.au/
  • Loughborough University Department of Social
    Sciences. New methods for the analysis of media
    content. CAQDAS- A primer. http//www.lboro.ac.uk/
    research/mmethods/research/software/caqdas_primer.
    htmlwhat
  • Métodos mixtos
  • Triangulación de fuentes P y S
  • Triangulación de técnicas
  • Triangulación de datos
  • Para corroboración, informar una técnica con
    otra, complementar

49
E. Diseminación de resultados.
  • Feedback continuo y audiencia en mente mejoran
    las
  • chances de apropiación de resultados y relevancia
    de la
  • evaluación.
  • Estructura clásica de un informe final
  • Informes parciales
  • Antecedentes y contexto de la evaluación.
  • Propósito de la evaluación.
  • Alcance de la evaluación y metodología.
  • Resultados (hallazgos).
  • Lecciones aprendidas / Recomendaciones (basadas
    en los hallazgos)
About PowerShow.com