Racionalidad y política en el análisis y la gestión del cambio en las políticas

públicas

Curso Métodos de Análisis, Diseño y Evaluación de Políticas públicas que generan Innovación.ESAP · EIAPP-CLAD · DNPBogotá, 23-27 Agosto 2010

César Nicandro Cruzcesarcruz@estudiospoliticos.org

1. Nociones generales (40 min. aprox.)

Esquema de exposición Análisis de políticas públicas –monitoreo y evaluación

Herramientas M&E para demostrar resultados y rendir cuentas – implementación de un sistema M&E

Estudio de caso: - Coneval México

Cambio político y gestión del cambio

Análisis de políticas públicas Es una disciplina social aplicada que usa una gran variedad de métodos de investigación, en contextos de argumentación y debate públicos, para crear, evaluar críticamente y comunicar conocimiento útil sobre la política públicaEl análisis de políticas es una actividad centrada producción y transformación de información relevante en conocimiento útil para la toma de decisiones y el debate público.

Permite mejorar nuestro conocimiento sobre los problemas públicos y mejorar el proceso de toma de decisiones.

Análisis de políticas públicas El análisis de políticas no es una actividad neutral, pues se centra en valores.Las opciones de políticas públicas implican el escoger entre valores (muchas veces) en competencia: salud, bienestar, seguridad, paz, justicia, igualdad, libertad, etc.

Juzgar o priorizar entre valores no es una cuestión que resuelva por sí misma la técnica, sino que requiere razonamientos morales (ética aplicada).

Análisis de políticas públicas El análisis de políticas sí puede ser una actividad objetiva, dadas sus metodologías, métodos y técnicas de análisis.El desarrollo de este subcampo de estudios, en sus metodologías y técnicas ha sido vertiginoso.

Tal vez como nunca el análisis de políticas cuenta con fundamentos teóricos, metodológicos y técnicos integrados en un campo multidisciplinario.

Tres enfoques del análisis de políticas públicas

Una disciplina social aplicada

Enfoque Pregunta fundamental Tipo de información

Empírico ¿Existe o existirá? (hechos)

Descriptiva y predictiva

Valorativo

¿Vale la pena que exista? (valores)

Valorativa

Normativo ¿Qué debe hacerse? (acciones)

PrescriptivaLa producción de información relevante, ya sea descriptiva, predictiva, o prescriptiva en carácter, se obtiene mediante los procedimientos analíticos llamados monitoreo, previsión (forecasting), evaluación, recomendación y estructuración del problema.

Dentro del análisis de políticas, el procedimiento más complejo (e importante) es este último.

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Evaluación

Monitoreo

Recomendación

Previsión (Forecasting)

Estructuración del problema

La estructuración del problema implica la definición del problema público, el establecimiento y el diagnóstico que define una causalidad, se establecen objetivos posibles y se esbozan diseños de políticas para atender el problema.Este procedimiento brinda conocimiento sobre potenciales estadios futuros o tendencias, que pueden ocurrir como consecuencia de adoptar opciones de políticas posibles, que incluyen el no hacer nada. (análisis prospectivo).Brinda conocimiento sobre los beneficios y costos de las alternativas que han sido consideradas durante la previsión (forecasting). Ayuda a escoger entre potenciales estadios futuros y a la adopción de alternativas en arreglo a valores.Este procedimiento ofrece información y conocimiento relevante acerca de las efectos de las políticas adoptadas, a fin de asistir a los elaboradores de políticas en la fase de implementación. Ayuda a medir el nivel de cumplimiento, descubren consecuencias no previstas, obstáculos de implementación.Ofrece conocimiento relevante sobre las discrepancias entre el desempeño esperado y el obtenido. El monitoreo y la evaluación están muy vinculados. La evaluación ofrece las bases para el reforzamiento de la política o la reestructuración de problemas.Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Análisis de Políticas Públicas: Procedimientos Analíticos

Estructuración del problema

Estruc

turaci

ón

del

prob

lema

Estruct uración del pro blema

Estructuración del problema

Evaluación

Monitoreo Recomendación

Previsión(forecasting)

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

El análisis de políticas centrado en el problema: Procedimientos Analíticos

Desempeño(performan

ce)

Resultados(outcomes)

Acciones de política pública

FuturosProblemas

El análisis de políticas centrado en el problema: Información Relevante

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Estructuración del problema

Estruc

turaci

ón

del

prob

lema

Estruct uración del pro blema

Estructuración del problema

Evaluación

Monitoreo Recomendación

Previsión(forecasting)

Desempeño(performan

ce)

Resultados(outcomes)

Acciones de política pública

FuturosProblemas

El análisis de políticas centrado en el problema

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Estructuración del problema

Estruc

turaci

ón

del

prob

lema

Estruct uración del pro blema

Estructuración del problema

Evaluación

Monitoreo Recomendación

Previsión(forecasting)

Desempeño(performan

ce)

Resultados(outcomes)

Acciones de política pública

FuturosProblemas

Las modalidades del análisis de políticas

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Retrospectivo (ex-post)

La centralidad de la

estructuración del problema en el análisis de

políticas

Disolver: implica el abandono de un problema mal estructurado antes de que exista un esfuerzo por solucionarlo.

Resolucionar: el re-analisis de un problema correctamente estructurado a fin de reducir errores de calibración (E-I y E-II types)

No solucionar: implica el abandono de una solución encontrada basado en una formulación no adecuada del problema (E-III)

SITUACIÓNPROBLEMÁTICA

Estructuración del problema

PROBLEMAPÚBLICO

Solucionarel problema

SOLUCIÓNRe-solucionar el problema

No solucionardel problema

Disolverdel problema

Detección de(nuevos) problemas

¿Es el problema correcto?

¿Es la solucióncorrecta?

SI

SI

NO

NO Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Los estadios futuros, la previsión y la planeación

estratégica

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Pasado Presente Futuro

FuturosPotenciales

(¿qué podría ser?)

PasadosPotenciales(¿qué pudo

haber ocurrido?)

FuturosPlausibles (¿qué será?)

PasadosPlausibles

(¿qué ocurrió?)

Planeación Estratégica

Valoración Prospección Estrategia

Juicios de valor de hecho agenda estratégica

futuros deseados realizables Ganadores

PasadosNormativos(¿qué debió

pasar?)

FuturosNormativos

(¿qué deberápasar?)

Compaginación de los procedimientos analíticos con las distintas fases del proceso de las políticas

El análisis de políticas conlleva una serie de procesos intelectuales llevados a cabo dentro de procesos de actividades esencialmente políticos

Desde la ciencia política, estas actividades son analizadas, teorizadas y descritas con las llamadas teorías sobre el proceso de las políticas públicas

Evaluación

Monitoreo

Recomendación

Previsión (Forecasting)

Estructuración del problema

CONFORMACIÓN DE LA AGENDA

FORMULACIÓN

ADOPCIÓN

IMPLEMENTACIÓN

EVALUACIÓN

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Monitoreo Es la función continua que utiliza la recolección sistemática de datos sobre indicadores específicos, para proporcionar a los gestores y elaboradores de políticas los indicadores sobre el nivel de progreso y logro de objetivos y en la distribución de recursos. El monitoreo brinda información sobre dónde un

proyecto, programa o política está en un momento dado, en relación con un objetivo o resultado dado.

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Monitoreo

Monitoreo Es el proceso de obtención de información relevante a fin de medir cambios en las condiciones sociales de interés (tanto objetivas – v.g. indicadores de desarrollo - como subjetivas – v.g. encuestas satisfacción), entre distintos grupos objetivo y/o beneficiarios.

Monitoreo

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Monitoreo: métodos de recolección de datos

Monitoreo

Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Marco general del monitoreo

In1In2...

Ini

Pr1Pr2...

Prj

Pd1Pd2...

Pdm

Im1Im2...

Imn

Pc1Pc2...

Pcp

Ei1Ei2...

Eiq

Dc1Dc2...

Dcr

Insumos Procesos Productos Impactos

Precondiciones Eventos inesperados

Derramas y efectos

colaterales

ACCIONES CONTROLABLES RESULTADOS CONTROLABLES

CAUSAS NO CONTROLABLES EFECTOS NO CONTROLABLES

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Los Hechos

Características del monitoreo

Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

Monitoreo

Características

Descripción

Enfocados a los resultados

Analizan productos e impactos (outcomes) que son resultado tanto de variables controlables como no controlables

Orientados a los fines

Los resultados son monitoreados, pues se asume que su logro permiten la satisfacción de una necesidad o valor (fin)

Orientados al cambio

Identifican variaciones en el tiempo, cambios en los resultados en secuencias temporales, en distintos programas, proyectos o localidades en el mismo tiempo, o en ambos grupos de dimensiones.

Permiten clasificaciones cruzadas

Facilitan la clasificación cruzada de productos e impactos por otras variables.

Monitoreo basado en resultadosMonitoreo

Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Evaluación Se refiere a la producción de información y conocimiento de los resultados obtenidos con la política, en arreglo a algún conjunto de valores, y si tales resultados contribuyen con los fines y objetivos perseguidos.

Se centra en valores: se intenta determinar la utilidad social de un programa (impacto)

El monitoreo colecta los hechos, la evaluación los vincula con los fines perseguidos causalmente.

Mayormente tiene un carácter retrospectivo

Tiene un carácter dual, pues los valores que sustentan la evaluación se pueden referir a los medios o a los fines

Evaluación

Evaluación Es la tarea sistemática y objetiva de

analizar un proyecto, programa o política en marcha o concluido (incluyendo su diseño, implementación y resultados)

La finalidad es determinar la relevancia y el logro de objetivos, en la eficiencia, eficacia, impacto y sostenibilidad.

Una evaluación debe proporcionar información creíble y útil, permitiendo la incorporación de lecciones aprendidas en el proceso de toma de decisiones, tanto de beneficiarios como de donantes.

La evaluación brinda información sobre por qué un objetivo o resultado dado de un proyecto, programa o política ha sido o no alcanzado.

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Evaluación

Evaluación: criteriosEvaluación

Criterio Finalidad Pregunta fundamentalEficacia Logro de

objetivos¿Se logran alcanzar los objetivos establecidos en el programa o política?

Eficiencia Sobre los recursos

¿Cuánto esfuerzo es el requerido para lograr un determinado nivel de eficacia?

Relevancia de los objetivos

¿Son los objetivos valorables positivamente para el público y para los grupos implicados (interesados)?

Coherencia de las políticas

¿En qué medida el logro de los resultados valorados como positivos resuelven el problema?

Equidad Distribución de beneficios

¿Son los costos y los beneficios distribuidos equitativamente entre los distintos grupos en la sociedad?

Sostenibilidad

de los resultados

¿Se pueden mantener o mejorar los resultados sin dañar a otros sistemas o sin provocar perjuicios al corto y largo plazo?

Método Objeto CaracterísticasEvaluación de diseño

Determinar si el programa hace un aporte relevante a la solución de un problema específico

Solo utiliza información secundaria. Se realiza al año de ejecución del programa. Busca encontrar fallos en la formulación del programa, así como conocer con detalle el papel del programa dentro del concierto de programas existentes, reduciendo riesgo de duplicidades.

Evaluación de procesos

Determinación de eficiencia y eficacia del programa

Ofrece recomendaciones sobre aspectos susceptibles de mejora. Identifica cuellos de botella.

Evaluación de consistencia y resultados

Ofrecer una perspectiva general de diseño, operación y resultados

Evaluación rápida, orientada a dar una perspectiva general sobre el diseño, la planificación, cobertura, operación, percepción y resultados de un programa a fin de detectar fortalezas y debilidades específicas. Solo utiliza información secundaria. Está dirigida a un amplio rango de usuarios.

Evaluación de impacto

Medir cambios en las condiciones de bienestar de la población beneficiaria

Mide aquellos cambios que pueden ser atribuibles al programa en cuestión. Ofrece evidencia sobre si un programa funciona o no, y ofrece recomendaciones sobre si el programa debe o no seguir, debe o no ser modificado

Evaluación de indicadores*

Medir la calidad de los indicadores

Mejorar el conocimiento sobre los progresos de un programa a través de sus indicadores de desempeño.

Métodos de evaluación de programasEvaluación

Articulación de los métodos de evaluación

Diseño

Evaluación de Diseño

Medina Giopp, A., Beker Busjeet, G., Bravo, L., Lundwall, J., y Hernández, R. M. (2008). México: Análisis de los Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal (Reference Project: P101567). Washington: Banco Mundial.

Insumos Actividades

Productos Efectos(beneficiari

os)

Impacto

Evaluación de Procesos Evaluación de Indicadores

Evaluación de Consistencia y Resultados Evaluación de Impacto

Evaluación

Muchas gracias por su atención