Monitoreo y Evaluación para la Gestión para Resultados
Estrategia y Plan de Acción para la Efectividad en el
desarrollo en Brasil—Taller de arranque
Brasilia, 18/Sep/ 2006
Angel Saz-Carranza [email protected]
Contenido
Introduccion La evaluacion Sistemas de evaluacion La GpR en NYC
Evaluación y Monitoreo
Evaluación: la valoración puntual de una intervención.
Monitoreo: la valoración esporádica y/o continua del avance de una intervención.
EM de resultados
Énfasis en las consecuencias, productos o impactos de una intervención
Diferente de la gestión para resultados la evaluación de resultados es una
herramienta para la gestión por resultados
La evaluación de los resultados de la gestión pública
No es un fin en sí mismo No es una herramienta neutral
La organización pública como sistema de producción
PROCESO
Procesos de producción y prestación de servicios (sistemas de gestión)
Servicios &Productos
Resultados(cambio)
INSUMOS
AutorizaciónRecursos humanos
Tecnologías & informaciónRecursos financieros
Criterios de evaluación:
Transparencia
Responsividad
EfectividadCalidad/Impacto
Legitimidad
Legalidad/Equidad
Eficiencia/Economía
OUTPUT
EM de resultados: una herramienta para la gestión por resultados
La efectiva evaluación y el monitoreo de los resultados de la gestión pueden promover una cultura orientada a resultados:
información útil para tomar decisiones en
varios niveles retroalimentación para mejoramiento
continuo de procesos, sistemas y funciones información útil para la rendicion de
cuentas en varios niveles
La Evaluación en el Sector Público La evaluación cumple funciones
diversas en distintos países: Las prácticas varían de acuerdo
con: Quién comisiona la evaluación? Qué se va a evaluar? Quién realiza la evaluación? Quién utiliza la información y las
recomendaciones?
Tres grandes “eras” en la evaluación de lo público (programas, políticas y reformas)
Era Condiciones Enfoque de la reforma Enfoque de la evaluación
60’s y 70’sProsperidad económica
Diseño e implementación de políticas; reorganizaciones; descentralización
•Mejorar la política (énfasis en impactos y efectividad de los programas)•Evaluación de programas como parte de la planeación de las políticas
80s y 90’s Crisis--Retroceso económico
Desregulación; privatización; reducción de costos
•Reducir/racionalizar el gasto; legitimizar decisiones (maximizar insumo/producto = eficiencia)
95s +
Contracción moderada –gerencialismo
“buen gobierno”
Reducción del tamaño; fortalecimiento institucional; flexibilización; agencias independientes; externalizaciónes y contratación - gestión del desempeño
•Racionalizar, fortalecer, mejorar y legitimar el sector publico (énfasis en los resultados -efectividad, eficiencia, calidad, etc)•Evaluación como parte del ciclo de gestión estratégica
Evaluación y Monitoreo de los Resultados
Nuevo enfoque es “universal” pero… Experiencia, investigación y tecnología
desarrolladas en el Norte Experiencias en el Sur no han sido
suficientemente documentadas Además:
Vienen del sector privado y deben transformarse
Evaluacion
Introduccion: la evaluación de proyectos
PROGRAMACIÓN
FORMULACIÓN
IDENTIFICACIÓN
EVALUACIÓN
EJECUCIÓN
•Análisis de “stakeholders”•Lista de problemas
•Análisis de problemas•Análisis de objetivos•Análisis de alternativas•Matriz
•En base a la Matriz
•En base a la Matriz
Ingresos derivados de productos
agrícolas incrementan
Bienes se venden a un precio aceptable
en los mercados urbanos
FINES
Transporte y comunicacion
mejora
Lluvias abundantes pero no anormales.
Carreteras son mantenidas
correctamente
Agencia de infraestructura es
eficaz
Inversión del Estado en infraestructuras
incrementa
Tecnología utilizada adecuada
Personal capacitado
MEDIOS
OBJETIVOESPECÍFICO
Lógica de intervención / Teoría de cambio
OG: Transporte y comunicacion mejoraOE: Agencia Estatal de Infraestructuras es eficazOI1: Tecnología utilizada es adecuadaOI2: Personal capacitadoA1.1: Identificar deficits tecnológicos.A1.2: Adquirir tecnología necesaria.A2.1: Identificar deficits formativos.A2.2: Formar al personal.
Lógica de intervención / Teoría de cambio
Los indicadores objetivamente verificables Constituyen las descripciones operativas de los
objetivos globales, del objetivo específico y de los resultados.
Permiten observar indirectamente los objetivos del proyecto.
Un buen indicador debe ser (SMART): Específico: El indicador se ha de relacionar directamente
con la variable que queremos medir. Medible. Estar disponible a un coste aceptable. Pertinente respecto a un objetivo preciso. Estar disponible en un tiempo aceptable.
Ejercicio
Construir tres indicadores para los siguientes objetivos:
Reduccion de la pobreza
Mejora de la educacion
Mejora salud humana
Las fuentes de verificación Indican dónde y cómo se pueden encontrar
las informaciones necesarias para los indicadores.
Deberían especificar: El formato de presentación de las informaciones
(informes intermedios, registros del proyecto, estadísticas oficiales, etc.).
Quién debe proporcionar las informaciones. La periodicidad con la que las fuentes deben ser
proporcionadas.
OG: Transporte y comunicacion mejora
I.OG: La duración media de un trayecto via una las carreteras mejoradas se ha reducido un 15%
FDV.OG: Informes de investigación dirigidas a usuarios
OE: Agencia Estatal de Infraestructuras es eficaz
I.OE: Normas de calidad de la red de carreteras controladas
FDV.OE: Informe de monitoreo de la agencia
OI1: Tecnología utilizada es adecuada
OI2: Personal capacitado
I.R1: Tecnología utilizada esta conforme con los estándares profesionales internacionales
I.R2: El 100% del personal está capacitado para su posición de trabajo.
FDV.R1: Informe de asesoría técnica externa.
FDV.R2: Certificados de formación.
Ejercicio: 2 —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—
PROGRAMACIÓN
FORMULACIÓN
IDENTIFICACIÓN
EVALUACIÓN
EJECUCIÓN
La Evaluación
Motivo ¿Por qué queremos evaluar? ¿Quién quiere saber?
Objeto ¿Qué es lo que se va a evaluar? ¿Qué espacio de tiempo se quiere evaluar?
Criterio de la evaluación ¿Qué queremos saber de lo que vamos a
evaluar?
Motivos de la evaluación
¿Por qué queremos evaluar? Rendición de cuentas “accountability” (Parlamentos, Boards,
etc.) Asignación Aprendizaje: aprender lecciones
¿Quién quiere saber? ¿Es el mismo actor que consumirá información?
Motivos Explícitos – implícitos Personales – organizacionales
Objeto de la evaluación Objeto/nivel de la evaluación/unidad de análisis:
¿Qué es lo que se va a evaluar...? Proyecto individual Programa/ Sector Política
Espacio de tiempo que se quiere evaluar (un ciclo de programación; más de un ciclo; etc.)
planificacion input aplicado
proceso ejecutado
output outcome
situacion contrafactual
objetivo 1
impacto
efectividad
eficacia 2
eficiencia 1
objetivo 2
eficacia 1
eficiencia 2
input asignado
proceso planificado
economía
Criterio de la evaluación ECONOMÍA
Relación input asignadoi-input aplicado EFICACIA
Relación objetivo fijado-resultado conseguido EFICIENCIA
Relación input aplicado-output producido EFECTIVIDAD
Relación output producido-resultado conseguido IMPACTO
-Grado de modificación conseguido EQUIDAD
Relación distribución valor público fijada-conseguida SATISFACCIÓN
Relación expectativas esperadas-satisfechas
Evaluación absoluta / postmoderna
Evaluación gestora / controladora
Evaluación positivista / científica
El diseño de la Evaluación
(El diseño o metodología) El evaluador
¿Quién va a evaluar? El marco temporal
¿Cuándo vamos a evaluar? Muestra
¿Que actores, actividades, datos vamos a utilizar en el análisis?
Recolecta de datos Análisis de datos
Programación Ejecución EvaluaciónImpacto
Programación EjecuciónEvaluación
Impacto
Programación Ejecución
Programa 1
Programa 2
Programa 3
Marco temporal
HERRAMIENTAS ANALÍTICAS
Análisis de beneficiariosAnálisis de conflictosAnálisis de génerio
Análisis participativo ruralAnálisis de riesgo
SARAR (self-esteem, associative strength, resourcefulness, action
planning and responsibility) Análisis de escenarios
Análisis de stakeholder
MÉTODOS PARTICIPATIVOS
Acceso a recursosAnálisis de taréas
Mapping Análisis de necesidades
Pocket Charts Juego de roles
ÁrbolesRanking
Talleres:Planificación por objetivos
Marco lógico
MÉTODOS CUALITATIVOS
Observación directaGrupos de expertos
Entrevistas en profundidadEntrevistas desestructuradas
MÉTODOS CUANTITATIVOS
EncuestasAnálisis bivarianteAnálisis de clusters
Correlaciones
Restricciones
Recursos disponibles (relación coste-calidad)
Información disponible (primer y segundo grado)
Disponibilidad a cooperar de los actores implicados (locales e internacionales)
Impacto
A1 B1
A2 (con)
B2 (sin)
T1 (antes) T2 (después)
Con P
Sin P
Impacto: diferencia entre lo que ha pasado (el outcome) y lo que hubiera pasado
V. Estadística
V. Interna
V. Constructo
Conclusión Motivo Objeto Criterio Evaluador Marco temporal Muestra Datos Análisis
Sistemas de Evaluacion y Monitoreo
Marco conceptual Para qué evaluar?
las múltiples funciones de la evaluación (visión estratégica para generar valor público)
Qué evaluar y a qué nivel hacerlo? el alcance de la evaluación
Qué hacer con la información? la relación entre el uso de la información y
el mejoramiento de la gestión
Para que evaluar? Aprendizaje
Se lograron los resultados esperados? Cómo alcanzar mayores logros ? Cómo mejorar?
Asignación Se debe re-considerar la asignación actual?
(ofrecer mas o menos recursos?) Se justifica mantener o eliminar la unidad
evaluada o sus partes? Legitimación
Cumple el gobierno sus promesas? Es efectivo? Es transparente?
País
Propósito declarado
ColombiaSINERGIA
Costa Rica SINE
Uruguay SEV
ChileSCPG SCG
Mejoramiento de la gestiónorganizacional
X X X
Asignación presupuestaria(racionalización del gasto)
X X X X
Mejoramiento de políticassectoriales y programas
X X
Planificación estratégica yglobal de las políticas
X X X
Responsabilización y rendimiento de cuentas
X X X X
Para qué evaluar los resultados de la gestión?
Modernizacion & Democratizacion
Alemania
Holanda
80 90
ModernizacionDemocratizacion
Modernizacion Democratizacion
Debate
Una orientación a los resultados de la gestión puede ...
...debilitar la democracia
...la democracia
Dos OrientacionesModelo
PlanModelo
Presupuesto
Enfasis en la responsabilización políticaFunción: Aprendizaje/legitimación
Enfasis en la responsabilización gerencialFuncion: Aprendizaje/Asignación
Organizado en función del Plan Nacional de Desarrollo
Organizado en función del ciclo presupuestario
Colombia: DNP - Departamento Nacional de Planeación Costa Rica: Mideplan - Ministerio de Planificación
Uruguay: OPP - Oficina de Planeamiento y Presupuesto Chile: DIPRES - Division de Presupuesto, Ministerio de Finanzas
Evaluación de los resultados de la gestión pública paraObjetivos declarados Modelo
PlanModelo
Presupuesto
Modernizar:El mejoramiento de la gestión
Relaciona el desempeño con el
desarrollo de la política pública
Relaciona el desempeño con la
asignación del presupuesto
Democratizar:Responsabilización y transparencia
Principal criterio de responsabilización:
político
Principal criterio de responsabilización:
gerencial
Qué evaluar?
Que enfocar? Componente de cadena de valor Criterio
A que nivel? Macro (sector), meso (organizacion), Micro (persona)
Casos LA
NivelCOLOMBIA SINERGIA(mon&eva)
CSTA RICA SINE(monitoreo)
URUGUAY SEV(monitoreo)
CHILESSPG SCG(mon&eva)
Macro PNDSectores
PNDSectores
Meso Programas[agencias]
Programas Agencias
Agencias ProgramasAgencias
Micro Unidad de presupuesto
Niveles de desempeño
Casos LA (2)
Chile :dos sistemas, muchos
componentes
Colombia :un sistema, tres componentes
Uruguay y Costa Rica: un sistema
(de monitoreo)
• SSPG (SEGPRES) Monitoreo de metas y objetivos
• SCG (DIPRES)Monitoreo y evaluaciones
•Monitoreo de objetivos y resultados
• Evaluaciones estratégicas
•Diseminación y rendimiento de cuentas
• Medición, monitoreo, rendición de cuentas
Qué hacer con la información?
Preguntas claves sobre la información generada: Es confiable? Es accesible? Se consume? Produce consecuencias?
Es confiable la información?
Credibilidad de la información depende de:
Quien decide los indicadores? Quien recoge los datos? Rigor metodológico, problemas de
medición Que hay detrás de un indicador?
Se consume la información? Destinatarios/usuarios potenciales
Poder Ejecutivo
Ministerio de Planificación Ministerio de Hacienda Ministerios sectoriales (ministros) Jerarcas y funcionarios de varios niveles de gestión Presidente de la Republica Organismos de auditoria y control Oficina Nacional de Presupuesto
Poder Legislativo Parlamento
Sociedad civil Organizaciones Ciudadanos
INE MEInformacion 1 Informacion 2
RetroalimentacionInformacion 3
Consultores
DecisoresGerentes……Ciudadanos
Usuarios 1
Usuarios 2
Informacion 4
Tipos de informacion & usuarios
Costes
De inversion De funcionamiento:
Quien los cubre: Usuario de informacion Proveedor de informacion
Depende del formato de la informacion en:
En output En input
Problemas Uso limitado de la información para
la toma de decisiones Información útil a nivel macro no es útil
a nivel meso (muy agregada) Información llega demasiado tarde
para ser útil Información no es confiable para ser
útil No hay incentivos formales para usar la
información
Desafíos Uso limitado de la información
La información todavía no afecta el aprendizaje ni la asignación como se esperaba.
Avances técnicos, pero la información aun no es confiable, accesible, usable
Falta integración El ciudadano es el gran ausente de los sistemas
de evaluación de los resultados de la gestión Cuanta y que tipo de información proporcionar
al público toda info no es susceptible de ser publica
El ciudadano puede ser el garante para la sostenibilidad de estos sistemas.
Nivel municipal Caracteristica principal:
cercania/interaccion general Positivo: integracion/coordinacion parece
menos problematica Negativo: paradoja global/local
Los representantes de los habitantes de las ciudades “suelen enfrentarse a una empresa imposible, se mire por donde se mira: la de encontrar soluciones locales a contradicciones globales” (p23).
Negativo: puede entorpecer funcionamiento.
La GpR en NYC
Mayor´s Management Report
Elementos del sistema Informe del alcalde Indicadores adicionales Descripcion de indicadores Estadisticas vecinales 311 La tarjeta de resultados de calles limpias CapStat: Citywide Accountability Program
Informe del alcalde
Informe 2: Indicadores
Informe 3: Descripcion de indicadores
Estadisticas vecinales
El servicio 311
La tarjeta de resultados (scorecard)
CapStat: CompStat
CapStat: Campanya politica
Bibliografia Performance evaluation, public management improvement and democratic
accountability. Sonia Ospina, Nuria Cunill Grau, Ariel Zaltsman. 2004. Public Management Review
Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano. Sonia Ospina Bozzi. Reforma y Democracia.
OCDE (1997) In search of results: Performance Management Practices. www.oecd.org/dataoecd/10/60/1902712.pdf
IMF Working Paper. Does Performance Budgeting Work? An Analytical Review of the Empirical Literature. Prepared by Marc Robinson and Jim Brumby
Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Judy L. Baker. Banco Mundial. Washington, D.C.
Between Democracy and Efficiency: Trends in Local Government Reform in the Netherlands and Germany. F Hendriks, P Tops - Public Administration, 1999
Confianza y temor en la ciudad. Zygmunt Bauman. Arcadia, 2006.
"En la medida en que las leyes de la matemática se refieren a la realidad, no son exactas, y en tanto son exactas, no se refieren a la realidad."
Albert EINSTEIN
Top Related