Post on 14-May-2023
Racionalidad y política en el análisis y la gestión del cambio en las políticas
públicas
Curso Métodos de Análisis, Diseño y Evaluación de Políticas públicas que generan Innovación.ESAP · EIAPP-CLAD · DNPBogotá, 23-27 Agosto 2010
César Nicandro Cruzcesarcruz@estudiospoliticos.org
Esquema de exposición Análisis de políticas públicas –monitoreo y evaluación
Herramientas M&E para demostrar resultados y rendir cuentas – implementación de un sistema M&E
Estudio de caso: - Coneval México
Cambio político y gestión del cambio
Análisis de políticas públicas Es una disciplina social aplicada que usa una gran variedad de métodos de investigación, en contextos de argumentación y debate públicos, para crear, evaluar críticamente y comunicar conocimiento útil sobre la política públicaEl análisis de políticas es una actividad centrada producción y transformación de información relevante en conocimiento útil para la toma de decisiones y el debate público.
Permite mejorar nuestro conocimiento sobre los problemas públicos y mejorar el proceso de toma de decisiones.
Análisis de políticas públicas El análisis de políticas no es una actividad neutral, pues se centra en valores.Las opciones de políticas públicas implican el escoger entre valores (muchas veces) en competencia: salud, bienestar, seguridad, paz, justicia, igualdad, libertad, etc.
Juzgar o priorizar entre valores no es una cuestión que resuelva por sí misma la técnica, sino que requiere razonamientos morales (ética aplicada).
Análisis de políticas públicas El análisis de políticas sí puede ser una actividad objetiva, dadas sus metodologías, métodos y técnicas de análisis.El desarrollo de este subcampo de estudios, en sus metodologías y técnicas ha sido vertiginoso.
Tal vez como nunca el análisis de políticas cuenta con fundamentos teóricos, metodológicos y técnicos integrados en un campo multidisciplinario.
Tres enfoques del análisis de políticas públicas
Una disciplina social aplicada
Enfoque Pregunta fundamental Tipo de información
Empírico ¿Existe o existirá? (hechos)
Descriptiva y predictiva
Valorativo
¿Vale la pena que exista? (valores)
Valorativa
Normativo ¿Qué debe hacerse? (acciones)
PrescriptivaLa producción de información relevante, ya sea descriptiva, predictiva, o prescriptiva en carácter, se obtiene mediante los procedimientos analíticos llamados monitoreo, previsión (forecasting), evaluación, recomendación y estructuración del problema.
Dentro del análisis de políticas, el procedimiento más complejo (e importante) es este último.
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Evaluación
Monitoreo
Recomendación
Previsión (Forecasting)
Estructuración del problema
La estructuración del problema implica la definición del problema público, el establecimiento y el diagnóstico que define una causalidad, se establecen objetivos posibles y se esbozan diseños de políticas para atender el problema.Este procedimiento brinda conocimiento sobre potenciales estadios futuros o tendencias, que pueden ocurrir como consecuencia de adoptar opciones de políticas posibles, que incluyen el no hacer nada. (análisis prospectivo).Brinda conocimiento sobre los beneficios y costos de las alternativas que han sido consideradas durante la previsión (forecasting). Ayuda a escoger entre potenciales estadios futuros y a la adopción de alternativas en arreglo a valores.Este procedimiento ofrece información y conocimiento relevante acerca de las efectos de las políticas adoptadas, a fin de asistir a los elaboradores de políticas en la fase de implementación. Ayuda a medir el nivel de cumplimiento, descubren consecuencias no previstas, obstáculos de implementación.Ofrece conocimiento relevante sobre las discrepancias entre el desempeño esperado y el obtenido. El monitoreo y la evaluación están muy vinculados. La evaluación ofrece las bases para el reforzamiento de la política o la reestructuración de problemas.Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Análisis de Políticas Públicas: Procedimientos Analíticos
Estructuración del problema
Estruc
turaci
ón
del
prob
lema
Estruct uración del pro blema
Estructuración del problema
Evaluación
Monitoreo Recomendación
Previsión(forecasting)
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
El análisis de políticas centrado en el problema: Procedimientos Analíticos
Desempeño(performan
ce)
Resultados(outcomes)
Acciones de política pública
FuturosProblemas
El análisis de políticas centrado en el problema: Información Relevante
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Estructuración del problema
Estruc
turaci
ón
del
prob
lema
Estruct uración del pro blema
Estructuración del problema
Evaluación
Monitoreo Recomendación
Previsión(forecasting)
Desempeño(performan
ce)
Resultados(outcomes)
Acciones de política pública
FuturosProblemas
El análisis de políticas centrado en el problema
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Estructuración del problema
Estruc
turaci
ón
del
prob
lema
Estruct uración del pro blema
Estructuración del problema
Evaluación
Monitoreo Recomendación
Previsión(forecasting)
Desempeño(performan
ce)
Resultados(outcomes)
Acciones de política pública
FuturosProblemas
Las modalidades del análisis de políticas
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Retrospectivo (ex-post)
La centralidad de la
estructuración del problema en el análisis de
políticas
Disolver: implica el abandono de un problema mal estructurado antes de que exista un esfuerzo por solucionarlo.
Resolucionar: el re-analisis de un problema correctamente estructurado a fin de reducir errores de calibración (E-I y E-II types)
No solucionar: implica el abandono de una solución encontrada basado en una formulación no adecuada del problema (E-III)
SITUACIÓNPROBLEMÁTICA
Estructuración del problema
PROBLEMAPÚBLICO
Solucionarel problema
SOLUCIÓNRe-solucionar el problema
No solucionardel problema
Disolverdel problema
Detección de(nuevos) problemas
¿Es el problema correcto?
¿Es la solucióncorrecta?
SI
SI
NO
NO Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Los estadios futuros, la previsión y la planeación
estratégica
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Pasado Presente Futuro
FuturosPotenciales
(¿qué podría ser?)
PasadosPotenciales(¿qué pudo
haber ocurrido?)
FuturosPlausibles (¿qué será?)
PasadosPlausibles
(¿qué ocurrió?)
Planeación Estratégica
Valoración Prospección Estrategia
Juicios de valor de hecho agenda estratégica
futuros deseados realizables Ganadores
PasadosNormativos(¿qué debió
pasar?)
FuturosNormativos
(¿qué deberápasar?)
Compaginación de los procedimientos analíticos con las distintas fases del proceso de las políticas
El análisis de políticas conlleva una serie de procesos intelectuales llevados a cabo dentro de procesos de actividades esencialmente políticos
Desde la ciencia política, estas actividades son analizadas, teorizadas y descritas con las llamadas teorías sobre el proceso de las políticas públicas
Evaluación
Monitoreo
Recomendación
Previsión (Forecasting)
Estructuración del problema
CONFORMACIÓN DE LA AGENDA
FORMULACIÓN
ADOPCIÓN
IMPLEMENTACIÓN
EVALUACIÓN
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Monitoreo Es la función continua que utiliza la recolección sistemática de datos sobre indicadores específicos, para proporcionar a los gestores y elaboradores de políticas los indicadores sobre el nivel de progreso y logro de objetivos y en la distribución de recursos. El monitoreo brinda información sobre dónde un
proyecto, programa o política está en un momento dado, en relación con un objetivo o resultado dado.
Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)
Monitoreo
Monitoreo Es el proceso de obtención de información relevante a fin de medir cambios en las condiciones sociales de interés (tanto objetivas – v.g. indicadores de desarrollo - como subjetivas – v.g. encuestas satisfacción), entre distintos grupos objetivo y/o beneficiarios.
Monitoreo
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Monitoreo: métodos de recolección de datos
Monitoreo
Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)
Marco general del monitoreo
In1In2...
Ini
Pr1Pr2...
Prj
Pd1Pd2...
Pdm
Im1Im2...
Imn
Pc1Pc2...
Pcp
Ei1Ei2...
Eiq
Dc1Dc2...
Dcr
Insumos Procesos Productos Impactos
Precondiciones Eventos inesperados
Derramas y efectos
colaterales
ACCIONES CONTROLABLES RESULTADOS CONTROLABLES
CAUSAS NO CONTROLABLES EFECTOS NO CONTROLABLES
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Los Hechos
Características del monitoreo
Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)
Monitoreo
Características
Descripción
Enfocados a los resultados
Analizan productos e impactos (outcomes) que son resultado tanto de variables controlables como no controlables
Orientados a los fines
Los resultados son monitoreados, pues se asume que su logro permiten la satisfacción de una necesidad o valor (fin)
Orientados al cambio
Identifican variaciones en el tiempo, cambios en los resultados en secuencias temporales, en distintos programas, proyectos o localidades en el mismo tiempo, o en ambos grupos de dimensiones.
Permiten clasificaciones cruzadas
Facilitan la clasificación cruzada de productos e impactos por otras variables.
Monitoreo basado en resultadosMonitoreo
Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)
Evaluación Se refiere a la producción de información y conocimiento de los resultados obtenidos con la política, en arreglo a algún conjunto de valores, y si tales resultados contribuyen con los fines y objetivos perseguidos.
Se centra en valores: se intenta determinar la utilidad social de un programa (impacto)
El monitoreo colecta los hechos, la evaluación los vincula con los fines perseguidos causalmente.
Mayormente tiene un carácter retrospectivo
Tiene un carácter dual, pues los valores que sustentan la evaluación se pueden referir a los medios o a los fines
Evaluación
Evaluación Es la tarea sistemática y objetiva de
analizar un proyecto, programa o política en marcha o concluido (incluyendo su diseño, implementación y resultados)
La finalidad es determinar la relevancia y el logro de objetivos, en la eficiencia, eficacia, impacto y sostenibilidad.
Una evaluación debe proporcionar información creíble y útil, permitiendo la incorporación de lecciones aprendidas en el proceso de toma de decisiones, tanto de beneficiarios como de donantes.
La evaluación brinda información sobre por qué un objetivo o resultado dado de un proyecto, programa o política ha sido o no alcanzado.
Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)
Evaluación
Evaluación: criteriosEvaluación
Criterio Finalidad Pregunta fundamentalEficacia Logro de
objetivos¿Se logran alcanzar los objetivos establecidos en el programa o política?
Eficiencia Sobre los recursos
¿Cuánto esfuerzo es el requerido para lograr un determinado nivel de eficacia?
Relevancia de los objetivos
¿Son los objetivos valorables positivamente para el público y para los grupos implicados (interesados)?
Coherencia de las políticas
¿En qué medida el logro de los resultados valorados como positivos resuelven el problema?
Equidad Distribución de beneficios
¿Son los costos y los beneficios distribuidos equitativamente entre los distintos grupos en la sociedad?
Sostenibilidad
de los resultados
¿Se pueden mantener o mejorar los resultados sin dañar a otros sistemas o sin provocar perjuicios al corto y largo plazo?
Método Objeto CaracterísticasEvaluación de diseño
Determinar si el programa hace un aporte relevante a la solución de un problema específico
Solo utiliza información secundaria. Se realiza al año de ejecución del programa. Busca encontrar fallos en la formulación del programa, así como conocer con detalle el papel del programa dentro del concierto de programas existentes, reduciendo riesgo de duplicidades.
Evaluación de procesos
Determinación de eficiencia y eficacia del programa
Ofrece recomendaciones sobre aspectos susceptibles de mejora. Identifica cuellos de botella.
Evaluación de consistencia y resultados
Ofrecer una perspectiva general de diseño, operación y resultados
Evaluación rápida, orientada a dar una perspectiva general sobre el diseño, la planificación, cobertura, operación, percepción y resultados de un programa a fin de detectar fortalezas y debilidades específicas. Solo utiliza información secundaria. Está dirigida a un amplio rango de usuarios.
Evaluación de impacto
Medir cambios en las condiciones de bienestar de la población beneficiaria
Mide aquellos cambios que pueden ser atribuibles al programa en cuestión. Ofrece evidencia sobre si un programa funciona o no, y ofrece recomendaciones sobre si el programa debe o no seguir, debe o no ser modificado
Evaluación de indicadores*
Medir la calidad de los indicadores
Mejorar el conocimiento sobre los progresos de un programa a través de sus indicadores de desempeño.
Métodos de evaluación de programasEvaluación
Articulación de los métodos de evaluación
Diseño
Evaluación de Diseño
Medina Giopp, A., Beker Busjeet, G., Bravo, L., Lundwall, J., y Hernández, R. M. (2008). México: Análisis de los Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal (Reference Project: P101567). Washington: Banco Mundial.
Insumos Actividades
Productos Efectos(beneficiari
os)
Impacto
Evaluación de Procesos Evaluación de Indicadores
Evaluación de Consistencia y Resultados Evaluación de Impacto
Evaluación