www.coneval.gob.mx

1
Experiencia de implementación de la Metodología
de Marco Lógico en México Julio de 2011
www.coneval.gob.mx
2
ÍNDICE
Antecedentes Matrices de Indicadores para
Resultados de la APF Proceso de Aprobación de
Indicadores Retos
3
Antecedentes

• El escenario de la APF en 2006, a pesar de que
  algunos de los programas con reglas de operación
  tenían una historia de evaluación se
  caracterizaba por los siguientes aspectos
• No siempre tenían objetivos ligados con
  resultados
• Los objetivos eran muy generales y ambiguos
• No existían indicadores de resultados
• Sin una metodología homogénea aplicada por todos
  los programas
• No era clara la lógica del programa para alcanzar
  resultados
• La mayoría de los indicadores establecidos medían
  gestión más no resultados

4
Antecedentes

• CONEVAL analizó distintas metodologías y casos
  internacionales para identificar la metodología
  más adecuada para el diseño y la construcción de
  la matriz de indicadores
• Caso Chile (DIPRES)
• Implementación de la MML en 1994
• Análisis de vinculación con presupuestación
  (Indicadores de Desempeño)
• Caso Colombia (SINERGIA)
• Introducción de instrumentos de medición de
  resultados desde 1994
• Caso Estados Unidos (OMB)
• Criterios para la especificación de Indicadores
  (SMART)
• Caso Canadá (Oficina del Tesoro)
• Inicio de implementación del Sistema en los años
  70

5
Antecedentes

• Por qué se definió la Metodología de Marco
  Lógico (MML) como instrumento?
• Porque permite
• la identificación de objetivos a nivel Resultados
  e Implementación (gestión)
• establecer relaciones causales entre los
  objetivos que se plantean
• diseñar indicadores vinculándolos a los objetivos
• identificar la lógica interna de los programas
  (valorar su diseño)
• presentar el programa en forma resumida,
  estructurada y sintética
• Al mismo tiempo, la SHCP estaba en busca de
  metodología para incorporar información al
  Sistema de Evaluación del Desempeño (SED)

6
Objetivo Planear, evaluar, presupuestar (tener
una gestión) para buscar y medir resultados

• Los indicadores más relevantes hoy en día son
• El presupuesto asignado a cada programa
• El del presupuesto ejercido cada año
• El número de becas/cursos de capacitación/litros
  de leche/pasaportes entregados/juntas realizadas,
  etc, etc.
• Pero falta medir RESULTADOS
• Aumentó el ingreso/la ocupación de quien recibió
  el microcrédito?
• Los desempleados que recibieron capacitación
  aprendieron y encontraron trabajo?
• Más mujeres se incorporan a trabajar a raíz del
  programa de estancias infantiles?
• Disminuyó la delincuencia por el programa de
  seguridad?
• Se disminuyó el tiempo de trámite de los
  pasaportes?

7
ESQUEMA LÓGICO DE UN PROGRAMA
Contribuir a que la población desempleada en
pobreza tenga un mejor acceso a empleos de
calidad
Resultados
Mejorar los conocimientos técnicos de los
desempleados en situación de pobreza extrema
1.- Capacitación a individuos en pobreza extrema
desempleados 2.- Beca de apoyo a familias
beneficiadas
Implementación
- Focalización Geográfica 1.1 Identificación y
selección de familias en pobreza extrema 2.1
Distribución de las becas de apoyo
8
MENOS Y MEJORES INDICADORES
Porcentaje de capacitados que obtienen un mejor
trabajo


Resultados
Porcentaje de beneficiarios capacitados que
efectivamente adquieren los conocimientos
técnicos adecuados



1.- Porcentaje de cursos y talleres
realizados 2.- Porcentaje de becas repartidas 3.-
Monto total de las becas repartidas 4.-
Porcentaje de desempleados capacitados




Implementación
1.- del presupuesto ejercido 2.- Costo promedio
x actividad 3.- Costo promedio de distribución de
la beca





9
Antecedentes
Esquema lógico de objetivos de un programa
Objetivos Nacionales

Resultados





Implementación









10
Antecedentes
Se pretendía pasar de esto
11
Antecedentes
a este esquema en un primer momento
Resultados


Implementación




12
Antecedentes
a esto en un segundo momento
Objetivos Nacionales

Resultados





Implementación









13
ÍNDICE
Antecedentes Matrices de Indicadores para
Resultados de la APF México Proceso de
Aprobación de Indicadores Retos
14
Matrices de Indicadores para Resultados

• Del total de las MIR de la APF (cerca de 600), el
  CONEVAL coordina 231, de acuerdo con el Programa
  Anual de Evaluación
• Las modalidades presupuestarias de estas MIR son
  las siguientes
• S Programas Sujetos a Reglas de
• Operación
• U Otros subsidios
• E Prestación de Servicios Públicos
• B Provisión de Bienes Públicos

15
Matrices de Indicadores para Resultados

• 35 de las MIR son de programas de Educación
  Medio Ambiente y Desarrollo Social cuentan con
  10 de los programas, respectivamente
• Cerca del 45 de las MIR se refieren a programas
  de seguridad social, Hacienda y Crédito Público,
  agrícolas, ganaderos, pesca, laborales.

16
Indicadores contenidos en las MIR 2011
Nivel del Indicador Indicadores en el PASH Indicadores en el PASH Indicadores Programas sociales Indicadores Programas sociales
Nivel del Indicador Total Total
Total 4,997 100 1,970 100
FIN 675 13.5 231 11.7
Propósito 790 15.8 304 15.4
Componentes 1,545 30.9 674 34.2
Actividades 1,987 39.8 761 38.6
Promedio por Programa Promedio por Programa Promedio por Programa 11 11

• El total de MIR de la APF para 2011 es de 586
  que incluyen 4,997 indicadores de desempeño.
• 183 Matrices corresponden a Programas Sociales

17
ÍNDICE
Antecedentes Matrices de Indicadores para
Resultados Proceso de Aprobación de
Indicadores Retos
18
Mandato para Coneval
Ley General de Desarrollo Social
Artículo 77. El Consejo Nacional de Evaluación,
antes de aprobar los indicadores a que se refiere
este artículo, los someterá a la consideración de
la Secretaría de Hacienda y Crédito Público y a
la Cámara de Diputados por conducto de la
Auditoría Superior de la Federación, para que
emitan las recomendaciones que en su caso estimen
pertinentes.
19
PROCESO DE MEJORAMIENTO DE INDICADORES

• Lineamientos de Evaluación y de la MIR
• Capacitación en MML
• Carga de MIR 2007 en PASH

• Capacitación y Asesoría
• Revisión 31 programas federales en Mesa Técnica
  de Indicadores

• Capacitación y Asistencia Técnica
• Carga de MIR 2008 al PASH (Revisión MIR)
• Diagnóstico MIR 2008

• Revisión 34 programas federales en MTRI
• Envío de información 3 programas federales a ASF
  y SHCP
• Diagnóstico MIR 2010

• Revisión todos los programas federales en MTRI
  (S y U)
• Lineamientos Generales de Aprobación de
  indicadores

• Cierre del proceso de aprobación de indicadores

20
Mejoramiento de MIR y de indicadores

• ETAPA V - A
• Capacitación básica y asesoría
• Programas mejoran sus MIR y actualizan PASH

• ETAPA V - B
• Capacitación y asesoría técnica
• Mejoramiento de MIR y actualización en PASH

• ETAPA I
• Lineamientos de Evaluación
• Lineamientos de la matriz de indicadores

• ETAPA III
• Capacitación y Asistencia Técnica
• Carga de MIR 2008 al PASH
• Revisión de la consistencia MIR

• ETAPA VI B
• Aprobación de Indicadores
• (34 Sesiones de Comité Técnico de Revisión de
  Indicadores)

• ETAPA IV
• Diagnóstico de las MIR 2008
• Capacitación en construcción indicadores

ETAPA VI - A Aprobación de Indicadores (Revisión
de 31 Programas Federales)

• ETAPA II
• Capacitación básica en Marco Lógico
• Carga de MIR 2007 al PASH

21
Qué hemos hecho en cada Etapa?

• 2007 Sentando las bases de implementación
• Etapa I
• Emisión de Lineamientos Generales de Evaluación
  de los Programas Federales de la Administración
  Pública Federal
• Se incluyen elementos de los Objetivos
  Estratégicos
• Se integran elementos de la matriz de indicadores
• Se relaciona a la Evaluación de Consistencia y
  Resultados
• Lineamientos de MIR
• Se vincula con el presupuesto Integración en el
  Anexo 1 de los Lineamientos Generales para el
  Proceso de Programación y Presupuestación para el
  ejercicio fiscal 2008 de la Metodología para la
  elaboración de la Matriz de Indicadores de los
  Programas Presupuestarios de la APF

22
Qué hemos hecho en cada Etapa?

• Primeros avances del proceso de implementación de
  la MML
• Se emite normatividad para fijar las bases de
  diseño de indicadores
• Se comienza una herramienta que facilita el
  proceso de planeación
• La MML se incorpora en un capítulo de la
  Evaluación de Consistencia y Resultados
• La SHCP integra elementos de la MIR en el
  análisis de presupuestación para el ejercicio 2008

Normatividad
Planeación
Evaluación
Presupuestación
Implementación de la MML
23
Qué hemos hecho en cada Etapa?

• 2007 Sentando las bases de implementación
• Etapa II
• Capacitación de funcionarios públicos en materia
  de Metodología de Marco Lógico
• Cursos de Sensibilización de la MML para 595
  funcionarios públicos de todos los sectores de la
  APF (se integran incluso los Ramos como Defensa
  Nacional, Gobernación, etc.)
• En Agosto, impartición de Talleres para la
  Construcción de la primera versión de la MIR de
  los programas
• Primera carga de la MIR de 133 programas
  federales en el PASH
• Se vincula la MIR con la ECR (Capítulo de Diseño)
• CONEVAL realiza la primera revisión de las MIR de
  los programas S y U mediante criterios
  establecidos
• Derivado de los resultados de la revisión se
  diseña un Curso de MML con mayor nivel de
  profundidad en los temas

24
Qué hemos hecho en cada Etapa?
2008 Mejorando la aplicación de la
Metodología Etapa III y IV
486 funcionarios públicos capacitados en MML
Incorporación de Asistencia Técnica para mejorar
las MIR
Diseño de Curso Específico de Indicadores de
Desempeño

• En marzo se carga una nueva versión de las MIR de
  programas federales al PASH
• Con base a la nueva versión de MIR, se elabora el
  Diagnóstico de Matrices de Indicadores para
  Resultados 2008
• Envío de recomendaciones para el mejoramiento de
  las MIR de 133 programas federales en dos
  períodos (Julio y Noviembre)
• Las MIR por primera vez son utilizadas en el
  proceso de presupuestación (para el ejercicio
  fiscal 2009)
• En conjunto con la SHCP, se emitieron los
  Lineamientos para la actualización de la Matriz
  de Indicadores de los programas presupuestarios
  para el ejercicio fiscal 2008

25
Qué hemos hecho en cada Etapa?

• 2009 Diseñando de mejor manera los indicadores
  de desempeño
• Etapas V-A
• Continuación de capacitación a funcionarios
  públicos
• 1,428 funcionarios públicos capacitados en
  Metodología de Marco Lógico para la Construcción
  de la Matriz de Indicadores para Resultados
• Capacitación de 365 funcionarios públicos en
  Diseño de Indicadores de Desempeño
• Proceso menos masivo debido a restricciones
  presupuestales
• Incorporación de nuevos apartados en el Curso
  para adecuarlo a la evolución de las MIR de los
  programas
• Mayor Asistencia Técnica a los programas para el
  mejoramiento de las MIR
• Actualización de las 110 MIR de programas
  federales S y U con versión 2008
• Incorporación al análisis de 47 nuevas MIR
  modalidad S y U y 67 E y B

26
Qué hemos hecho en cada Etapa?
2009 Diseñando de mejor manera los indicadores
de desempeño Etapa V-B

• Aprobación de Esquema de Aprobación de
  Indicadores por parte de la Comisión Ejecutiva
  (Sesión de Comisión Ejecutiva Mayo de 2009)
• Durante el mes de octubre se realizaron las
  primeras Sesiones de la Mesa Técnica de Revisión
  de Indicadores de Resultados (31 programas
  federales)
• Selección de programas considerando las
  siguientes variables
• Presupuesto 2009
• Valoración MIR
• Valoración indicadores
• Indicadores PEF
• Programa estratégico SHCP

27
Qué hemos hecho en cada Etapa?

• 2010 Consolidando el proceso de aprobación de
  indicadores
• Etapas VI-A
• Adecuación del esquema de Capacitación
• 582 funcionarios públicos capacitados en
  Metodología de Marco Lógico para la Construcción
  de la Matriz de Indicadores para Resultados
• Modificación de esquema de Capacitación ahora por
  demanda de los programas que así lo requirieron
• Mayor énfasis al mejoramiento de las MIR e
  indicadores
• Capacitación de 191 funcionarios públicos en
  Diseño de Indicadores de Desempeño
• Diagnóstico de Matrices de Indicadores para
  Resultados

28
Qué hemos hecho en cada Etapa?
2010 Consolidando el proceso de aprobación de
indicadores Etapas VI-B

• En abril, se enviaron recomendaciones para el
  mejoramiento de las MIR versión 2011 de 220
  programas federales
• Continuación del Proceso de Aprobación de
  Indicadores
• Realización de la Segunda Ronda de Sesiones de la
  Mesa Técnica de Revisión de Indicadores de
  Resultados para 34 programas federales
• Mismos Criterios de selección que en versión 2009
• Envío de la información de 3 programas federales
  a consideración de la Auditoría Superior de la
  Federación y la SHCP
• Selección de 5 programas federales de la Segunda
  Ronda de Sesiones susceptibles a enviar a la ASF
  y SHCP

29
Esquema de Aprobación de Indicadores
Pasos
I. Validación integral de todos los Indicadores
II. Valoración especifica de Indicadores de Resultado
III. Aprobación de los indicadores
30
Qué hemos hecho en cada Paso del Esquema?

• I Validación Integral de Indicadores
• Se diseñó la Ficha Técnica de Valoración de
  Indicadores, la cual mide las siguientes
  características mínimas con que debe contar un
  indicador
• Claridad
• Relevancia
• Monitoreabilidad
• Adecuación
• La aplicación de la Ficha Técnica se realizó para
  cerca de 2,000 indicadores contenidos en las MIR
  de 220 programas federales
• Los resultados fueron enviados a los programas
  federales en conjunto con las recomendaciones de
  mejora de las MIR

31
Qué hemos hecho en cada Paso del Esquema?

• II Validación Específica de Indicadores de
  Resultados
• El objetivo de esta etapa es revisar la
  consistencia de los indicadores de resultados
  tanto del nivel de Fin como de Propósito
• Implica la conformación de una Mesa Técnica de
  Revisión de Indicadores (MTRI) integrada por los
  siguientes representantes
• Secretaría de Hacienda y Crédito Público
• Auditoría Superior de la Federación
• CONEVAL
• Unidades de Evaluación de las Coordinadoras de
  Sector
• Representantes de los programas
• Experto Temático
• Experto Estadístico

32
Resultados de las Sesiones de la MTRI

• Principales Comentarios en los Informes

Los indicadores miden efectivamente los objetivos
del Programa Los medios de verificación para la
estimación del indicador provienen de medios
confiables y robustos
Las variables planteadas en los objetivos son
medidas parcialmente en los indicadores, por lo
que es necesario su modificación Las fórmulas de
cálculo deben plantearse con mayor exactitud, de
manera que no se existan dudas acerca de su
estimación
El indicador no mide lo que se encuentra
planteado en los objetivos del programa Los
métodos de cálculo del indicador son confusos y
no se describen las variables utilizadas
33
ÍNDICE
Antecedentes Matrices de Indicadores para
Resultados Proceso de Aprobación de
indicadores Retos
34
Retos

• Convencimiento a los programas federales de la
  importancia del mejoramiento de los indicadores
  para la consolidación del proceso
• Aceleración en la adopción de mejoras tanto a los
  objetivos como a los indicadores de los programas
  / Mayor asistencia técnica
• La MIR es un instrumento que es dinámico en el
  tiempo pero debe contar con una consolidación
• Concientización de que la aprobación de
  indicadores es un proceso gradual en el que los
  programas mejoran continuamente y es además, un
  proceso dinámico en el tiempo

35
ANEXOS
36
Variables Calificación MIR
37
Diagnóstico General de las matrices

• Se determinó una calificación en la que se
  consideran elementos que debe contener la Matriz
  de Indicadores para Resultados
• Cumplimiento
• Calidad

• Planeación Nacional (6 puntos)
• Fin (6 puntos)
• Propósito (12 puntos)
• Componentes (10 puntos)
• Actividades (6 puntos)

Ponderación 40
Ponderación 60

• Lógica Vertical (30 puntos)
• Lógica Horizontal (30 puntos)

Semaforización Calificación Características
Mayor a 80 puntos Consistente requiere cambios menores
Entre 50 y 80 puntos Parcialmente consistente, requiere cambios para fortalecer la coherencia
Menor a 50 puntos No consistente, con deficiencias en la identificación de objetivos e indicadores
38
Diagnóstico General de las matrices

• Para el análisis de la calidad de las MIR, en
  cuanto a Diseño e Indicadores se consideraron
  los siguientes elementos

39
Diagnóstico MIR 2010
40
Comparativo Diagnósticos 2008 2010 (Global)
Semaforización MIR 2010 (Clasificación S y U)

• Avance en diseño de la MIR y mejores indicadores
• Semaforización verde aumentó de 25 a 40 programas

Semaforización MIR 2008 diseño (Clasificación S y
U)
Semaforización MIR 2010 diseño (Clasificación S y
U)

• Mayor vinculación entre los objetivos
• Más de la mitad de las MIR en semaforización
  verde

SEMAFORIZACIÓN INDICADORES 2008 (CLASIFICACIÓN S
Y U)
SEMAFORIZACIÓN INDICADORES 2010 (CLASIFICACIÓN S
Y U)

• Mejoras en diseño y relación con el objetivo que
  mide
• Semaforización roja disminuyó de casi 60 a 41

41
Diagnóstico general MIR 2010

• Cerca del 40 por ciento de los programas
  mejoraron la calidad de sus MIR (11 de rojo a
  amarillo, 30 de amarillo a verde).

• 47 por ciento de las matrices permanecieron en
  el mismo nivel que en 2008, sin embargo una gran
  parte de las MIR se acercaron a su nivel
  inmediato superior

• 16 por ciento de los programas disminuyeron en
  la calidad de su MIR y requieren de una mayor
  labor para regresar al nivel que tenían
  anteriormente (aunque únicamente 8 disminuyeron
  de verde a amarillo)

42
Diagnóstico general MIR 2010

• (DICONSA)
• Oportunidades
• Rescate de espacios públicos
• Programa de la Mujer en el Sector Agrario
  (PROMUSAG)

• Becas para realizar estudios de posgrado
• Programa de Apoyo a Contingencias Climatológicas
• PRONABES
• Programa Escuelas de Calidad

• Programa Asesor Técnico Pedagógico
• Fondo de Apoyo para la Calidad de los Institutos
  Tecnológicos
• Programa Nacional de Financiamiento al
  Microempresario

43
Comentarios Principales Programas enviados a ASF
44
Resultados de las Sesiones de la MTRI
Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante
Experto Temático Experto Estadístico SHCP ASF Unidad de Evaluación y Programa
Inclusión de indicadores similares al de Fin en al menos otra dimensión, por ejemplo, salud Se recomienda establecer mediciones respecto a promedios nacionales y no solamente respecto a la población beneficiaria Algunos indicadores podrían considerarse como una doble diferencia Algunos indicadores pudieran expresarse en términos relativos y no absolutos Si la inclusión de nuevos indicadores no implican mayor desembolso para el programa se sugiere realizarlo En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta la mayoría de las sugerencias, sin embargo se considerará aumentar en lo mínimo el número de indicadores
45
Resultados de las Sesiones de la MTRI
Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante
Experto Temático Experto Estadístico SHCP ASF Unidad de Evaluación y Programa
Uno de los indicadores de resultados podría medir el impacto del programa comparando los cambios en algunas variables de los beneficiarios respecto a un grupo de control Deben especificarse de mejor manera los medios de verificación de donde se obtienen los datos para el cálculo de los indicadores. Al integrar indicadores es necesario que el Programa considere que las MIR deben ser lo más ejecutivas posible En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta todas las sugerencias pero la integración de indicadores que requieran de una Evaluación de Impacto está en función de la autorización del presupuesto del programa
46
Resultados de las Sesiones de la MTRI
Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante
Experto Temático Experto Estadístico SHCP ASF Unidad de Evaluación y Programa
El programa podría considerar la inclusión de un indicador sobre sustentabilidad de los sistemas productivos para medir los objetivos del programa Los medios de verificación deben ser más explícitos y detallados. Una vez calculados algunos indicadores se recomienda verificar el ajuste de los datos. Sin comentarios adicionales. En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta todas las sugerencias.
47
(No Transcript)
48
Contexto de Indicadores de Desempeño

• La APF cuenta con aproximadamente 500 programas
  presupuestarios de diversas modalidades con
  Matriz de Indicadores para Resultados (MIR)
• Las casi 500 MIR cuentan con cerca de 4,500
  indicadores de desempeño
• Los programas con modalidad S y U tienen más de
  1,700 indicadores
• 464 26 de resultados (Fin y Propósito)
• 1,309 74 de gestión (Componentes y
  Actividades)
• En 2008, la normatividad presupuestaria obligaba
  a presentar MIR a los programas presupuestarios S
  y U
• y en 2010 obligaba también , entre
• otras, las modalidades B y E
• El promedio de indicadores por
• programa de las modalidades S y U
• es de 12 (en 2008 era de 16)

Nivel del Indicador Indicadores en el PASH Indicadores en el PASH Indicadores Programas S y U Indicadores Programas S y U
Nivel del Indicador Total Total
Total 4,419 100 1,773 100
Fin 558 12.6 179 10.1
Propósito 752 17.0 285 16.1
Componentes 1,415 32 620 38.0
Actividades 1,694 38.3 689 38.9
Promedio por Programa Promedio por Programa Promedio por Programa 12 12