1

La evaluación de políticas públicas y sociales. Un análisis entorno a los actores.

Ma. Jimena García Puente.

Introducción:

Los procesos de Reforma del Estado1 desarrollados en la última década en

Argentina modificaron la correlación de fuerzas, el alcance y el modo de intervención

estatal, lo que implicó una redefinición de los roles y prioridades del Estado, y un cambio

en la forma de relacionarse con la sociedad civil.

Se configuró una nueva forma de relación y articulación del Estado con la sociedad

civil en su triple relación, en la funcional o la división del trabajo (de qué debe ocuparse el

Estado), en la material o de la distribución del excedente social (cuánto le cuesta a quién) y

en la de la dominación o correlación de poder (quién decide de qué hay que ocuparse)

(Oszlak, 2001). De ésta manera Oszlak señala que la antigua matriz estado-céntrica fue

dando paso a un modelo de relación cuya característica central es la incorporación de las

instancias subnacionales, de los demás actores que componen la sociedad y de los actores

supranacionales2.

Tales cambios se evidencian en el diseño y la implementación de las políticas

públicas y en las políticas sociales3, puesto que influyen en los contenidos o las temáticas

que ingresan a la agenda estatal (y cómo lo hacen), en las formas de resolución y en tipo de

soluciones. Por ello una forma de visualizarlos es por medio del análisis de los objetivos, el

diseño y las prácticas de gestión de las políticas públicas, asimismo se pueden visualizar

por medio del análisis de los diversos actores que participan en dichos procesos y del modo

que interactúan y se relacionan en esos marcos institucionales específicos.

A modo de síntesis podemos señalar que los rasgos sobresalientes de las principales

transformaciones de las políticas sociales se vinculan con la descentralización (el traslado

de responsabilidades de gestión jurisdiccional a las provincias y a los municipios), la

focalización (políticas orientadas a poblaciones claramente definidas), la privatización de

1 Por procesos de reforma del Estado nos referimos tanto a lo que se denominó primera reforma como segunda reforma del Estado. 2 Cabe aclara que Oszlak (2001) sostiene no se trata de una variación de las reglas fundamentales (es decir las que se fundan el sistema capitalista como modo de organización social) en que se basan los vínculos entre el Estado y la sociedad. Lo que ha cambiado son algunos actores, sus estrategias y resultados mismos del juego. 3 A los fines del presente trabajo, no nos centraremos en la distinción de políticas sociales respecto a las demás políticas públicas y abordamos su tratamiento en conjunto. No obstante ello se va a considerar a las políticas sociales como un subconjunto de políticas públicas, cuya finalidad es dar una respuesta a determinadas problemáticas sociales, es decir, modificar situaciones de exclusión, vulnerabilidad, desigualdad y pobreza, cuyos los principios rectores son la equidad, la inclusión y la seguridad social.

2

servicios públicos (ya sea en empresas privadas nacionales o internacionales) y la

terciarización de ciertas actividades.

Rasgos que marcan la presencia de nuevos actores en el proceso de diseño y de

gestión de las políticas. Tales actores no se limitan al ámbito estatal (ya sea jurisdiccional o

intrasectoriales) sino que incluyen actores sociales (organizaciones no gubernamentales y

otras formas de acción y participación comunitaria) e internacionales (organismos

multilaterales de crédito).

Otro de los cambios que experimentaron se vincula con el mayor énfasis en el

monitoreo y la evaluación (Repetto, 2003) de las diversas políticas sociales como de la

gestión pública.

Tales modificaciones afectaron tanto a los marcos institucionales como a la

configuración del mapa de actores relevantes que interactúan alrededor de las políticas

públicas. Por ello para analizar las políticas públicas es necesario considerar la presencia

plural de actores políticos y sociales e internacionales.

El presente trabajo se propone indagar sólo sobre uno de los rasgos de las políticas

sociales señalados: la evaluación, con el propósito de vislumbrar el mapa de actores que

interactúan en esa fase y el entramado institucional en el cual se desarrollan. Esto se realiza

a partir del análisis de los actores en la fase evaluación de una política social particular, el

Programa Trabajar, luego el foco de análisis se amplía con el fin de analizar algunos

aspectos de la institucionalización de la evaluación de políticas sociales en un organismo

estatal, el Sistema de Información, Monitoreo y Evaluación de Programas Sociales

(SIEMPRO).

Políticas públicas: una mirada en torno a los actores.

Existen diversos modos de abordaje para analizar las políticas públicas, que

implican diferencias en torno a su conceptualización y, en tanto marcos analíticos, formas

diferentes de observar la relación entre el Estado y la sociedad civil4. Puesto que el trabajo

está enfocado en las políticas públicas creemos pertinente especificar en base a qué

concepción teórica realizaremos el análisis.

4 Al respecto nos referimos, a riesgo excesiva simplificación, a los enfoques denominados “socio-céntricos” que explican a las políticas públicas en base a los intereses, relaciones y estructuras de la sociedad civil; a los “estado-céntricos” que postulan al Estado como autónomo en sus decisiones de las presiones de los actores de la sociedad, por lo tanto a las políticas públicas como expresión de los intereses y preferencias de los actores estatales, y por último al enfoque que analiza las políticas públicas como la expresión conflictiva de la interacción de actores estatales y sociales, mediados por entramados institucionales.

3

De acuerdo con Oszlak y O’Donnell las políticas públicas5 permiten una visión del

Estado “en acción”, desagregado y descongelado como estructura global y “puesto” en un

proceso social en el que se entrecruzan complejamente con otras fuerzas sociales, lo que

permite analizar el proceso social tejido alrededor del surgimiento, tratamiento y

resolución de cuestiones ante las que el Estado y otros actores adoptan políticas (1984: 99

y s). Entonces el análisis de las políticas públicas, en tanto que éstas expresan el accionar

de los actores fundamentales, permite comprender la compleja relación entre el Estado y la

sociedad y las reglas que juego que articulan la relación.

En concordancia con ese enfoque, Fox sostiene que es necesario, además analizar

los conflictos, contrastes, intereses e identidades de los diversos actores en el interior del

Estado y en la sociedad, que pueden capturar los límites y las posibilidades de acción

estatal (1994: 11). Las políticas públicas son, para éste autor, el resultado de una relación

recíproca, causa y efecto entre los cambios en la balanza de poder dentro del Estado y

dentro de la sociedad civil (Ibídem: 22).

Tal perspectiva nos conduce a analizar y considerar a una política pública como el

resultado de la forma en que se lleva adelante la disputa entre diversos actores en el marco

de cierta distribución de poder y reglas de juego, en otras palabras explicar a las políticas

“en función del proceso que resulta del sistema de instituciones políticas que organizan el

poder en la sociedad y el entramado de actores involucrados, sus capacidades y

comportamientos”(Acuña y Repetto, 2001: 15).

Considerando, entonces a una política pública como el resultado de la interacción

entre los actores relevantes del Estado y la sociedad civil, centraremos el análisis en los

actores intervinientes en ellas.

En el presente trabajo se analiza, en primer lugar, utilizando la perspectiva analítica

que subdivide a una política pública en ciclos o fases y concentrándonos en una de ellas la

evaluación, el mapa de actores que interactúan en una política social. En función de ello,

en segundo lugar, se destacan algunos aspectos de la evaluación como una política pública,

es decir evaluación de políticas sociales con el fin de observar la institucionalización en un

organismo estatal de la función evaluación de políticas sociales.

5 Los autores definen a las políticas públicas “como un conjunto de acciones y omisiones que manifiestan una determinada modalidad de intervención del Estado en relación a una cuestión que concita interés o movilización de otros actores de la sociedad civil” (Oszlak y O’Donnell, 1994: 112).

4

¿Porqué analizar la evaluación de las políticas públicas y sociales a partir de los

actores?

La evaluación de programas y proyectos sociales “es una actividad programada de

reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e

interpretación de información, con la finalidad de emitir juicios valorativos fundamentados

y comunicables, sobre actividades, resultados e impactos de esos proyectos o programas y

formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y

mejorar la acción futura” (Nirenberg et. at., 2000: 32).

La evaluación ha conformado históricamente un momento de análisis del proceso

de las políticas, sin embargo, como se señaló en la introducción, tal preocupación ha

adquirido mayor relevancia en la agenda de las reformas del Estado ligada al interés por la

responsabilización y la rendición de cuentas en el ámbito público (Hintze, 2001)

En el mismo sentido Ospina señala que el tema de la evaluación de proyectos y

programas públicos no es nuevo, pero que la preocupación actual se enmarca dentro de una

agenda más amplia de reforma del Estado y la modernización de sus instituciones (2001:

93). Tal preocupación se basa en la necesidad de reevaluar el papel del Estado y de mejorar

la eficiencia, eficacia y calidad de los servicios públicos. La autora señala que el

mejoramiento de la administración pública, a lo que podemos agregar, la formulación, el

diseño y el desempeño de sus políticas en pos de una mayor equidad, es un pre-requisito

para recuperar la legitimidad del Estado, en su papel, ahora más reducido pero igualmente

crítico, como co-actor de la resolución de los problemas colectivos.

La evaluación de políticas públicas está vinculada, entonces no sólo con la

preocupación de lograr mayor transparencia del aparato estatal sino también con el fin de

mejorar el desempeño administrativo y el accionar del Estado, lo que conduce a una

revisión del modo de resolución de los problemas, (y de selección de los mismos) de su

diseño, gestión y resultados.

Por lo tanto qué actores interactúan, y cómo, en el proceso de la evaluación de una

política pública se convierte en esencial para vislumbrar no sólo el enfoque de las

evaluaciones, qué dimensiones analizan de la política pública, en función de sus intereses o

los que representan, sino también los recursos y las capacidades con los que cuentan cada

uno para convertirse en actores relevantes en dicho proceso. Por otro lado el análisis del

mapa de actores y la institucionalidad resultante de la evaluación como política pública nos

permite reflexionar y observar sobre las restricciones y oportunidades de los diversos

actores para participar en tal proceso evaluativo.

5

La evaluación como una fase de la política pública

La evaluación de las políticas públicas puede ser entendida como un ciclo o una

etapa de la política o se la puede analizar como una política pública en sí misma6. De

acuerdo con el primer enfoque se puede analiza una política pública como un proceso que

se desenvuelve por etapas, de las cuales, cada una posee sus actores, restricciones,

decisiones, desarrollos y resultados propios, que influyen en las demás y son afectadas por

lo que sucede en otras (Aguillar Villanueva, 1993: 15). Los autores que analizan las

políticas públicas en tanto procesos o ciclos, realizan una operación analítica para dar

cuenta de las diversas etapas por las que atraviesa una política pública. Dichas fases,

pueden no corresponderse linealmente con la realidad, algunas no se cumplen o el orden de

las mismas suele alterarse. Al margen de los distintos cortes y denominaciones, todos los

autores que utilizan este marco de análisis se refieren a las siguientes etapas: estructuración

del problema, su ingreso a las agendas pública y gubernamental, la generación de

alternativas, la decisión, el diseño, la implementación y su evaluación7.

Utilizaremos la perspectiva del ciclo de la política pública puesto que es apropiado

para abordar la evaluación de una política separada, por lo menos conceptualmente, de las

demás fases con la finalidad de observar el modo en que los distintos actores interactúan en

esa etapa.

La fase evaluación, sin embargo, no se realiza sólo cuando finaliza una política

pública, es un proceso transversal a toda la política. Por otro lado, la evaluación de una

política implica una definición de objetivos, del carácter de la evaluación, de la

metodología, su instrumentación y análisis de resultados, lo que permite también

subdividir a ésta fase.

Para Manuel Tamayo Sáez, la evaluación es la última fase del proceso de la política

pública, y como éste es cíclico, es también la primera porque conduce a una revisión del

estado del problema (1997: 288). El fin es, de acuerdo con el autor, producir información

para orientar los nuevos procesos de decisión, introduciendo modificaciones a la política o

la sucesión de ésta por una más adecuada (Ibídem: 306 y s). Meny y Thoenig sostienen, en

6 El análisis de la evaluación como una política pública se enfoca en examen de los sistemas de evaluación de las políticas públicas, que constituyen estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995), un ejemplo de ello en el caso de Argentina respecto a las políticas sociales sería el SIEMPRO. 7 De acuerdo con Guerrero Amparán, todos los autores que han desarrollado la noción de política pública como proceso incluyen una fase de evaluación.(1995: 50). En el mismo sentido se puede ver en el análisis que realiza Aguilar Villanueva (1993: 16) de los diversos autores (tales como Peter DeLeon, Garry Brewer, May y Wildavky, Hogwood y Gunn, y Anderson) que señalan la evaluación como parte del proceso de toda política pública.

6

primer lugar, que evaluar es un gesto diario, que consiste en identificar y medir los efectos

propios de la acción, es un juicio hecho sobre un dato de referencia a un valor. Pero

agregan que “evaluar una política pública es apreciar los efectos atribuibles a una

intervención gubernamental en un campo específico de la vida social y del entorno físico

(...) es la apreciación sistemática, sobre la base de métodos científicos, de la eficacia y de

los efectos reales, previstos o no, buscados o no, de las políticas públicas”(1992: 195), a lo

que Sulbrandt incorpora que es “un examen, a partir de criterios específicos, de los logros

de una política en relación a las metas propuestas y a los efectos esperados en los grupos

sociales beneficiarios”(1994: 312).

Por otro lado, dichos autores señalan que no sólo es un instrumento técnico. La

evaluación puede ser considerara, también, como un mecanismo político cuya finalidad es

el control parlamentario, la legitimación de acciones gubernamentales o un mecanismo de

justificación de las mismas, el reforzamiento o la destrucción de una política, la

legitimidad de un tipo de liderazgo (Tamayo Saéz, 1997: 306), desde una perspectiva, y

desde otra, como una actividad política que se define en quién juzga la política y mediante

qué procesos (Meny y Thoenig, 1992: 203), puesto que el contenido mismo de la

evaluación, su juicio de valor final, forma parte de la atmósfera política de la toma de

decisiones o del apoyo o crítica a una política. Por tal motivo Subirats, apelando a una

construcción democrática y plural, propone un enfoque que la considere como un

instrumento de política que busca construir consenso entre los distintos actores interesados

respecto a los criterios para evaluar una política (1995: 5).

Retomando todas las definiciones, vamos a entender a la evaluación de políticas

sociales, como una actividad técnica y política, programada y sistematizada, cuyo fin es

analizar los resultados de las políticas gubernamentales en base a juicios fundamentados,

no la concebimos como un mero método técnico, sino por su propósito brindar información

para la planificación y las decisiones políticas8.

Por otro lado el proceso de evaluación, como destaca Hintze (2001), es una fuente

potencial de conflictos en el cual se pone en juego la posición de los actores institucionales

que pueden vivirla como una amenaza para su poder y a la propia sobrevivencia como

actores. Esta situación conflictiva, para Cohen y Franco, proviene de las diferentes

racionalidades de los actores que intervienen en la evaluación: los políticos, burócratas,

8 Esta definición es pertinente tanto para la evaluación en el marco del ciclo de una política como para un sistema de evaluación de políticas públicas.

7

técnicos y la población objetivo, son conflictos vinculados con la diferencia entre los

tiempos políticos y técnicos, (1992: 63 y s) a los se puede incorporar, también sociales9.

Ahora bien ¿qué actores realizan la evaluación de una política pública? Se puede

sostener que todos los ciudadanos emiten juicios sobre lo que hace el gobierno puesto que,

de acuerdo con Subirats las personas directa o indirectamente interesadas en un programa

de acción pública expresan sus opiniones críticas, sopesan y evalúan las políticas públicas

en función de sus lógicas y perspectivas particulares (1995: 10). Pero dichas evaluaciones,

para Guerrero Amparán son subjetivas y dependen de referencias heterogéneas, de acuerdo

con la posición social, nivel de educación, experiencias personales e ideas políticas, su

interés particular y cómo éste es afectado o satisfecho por la política (1995: 62).

De acuerdo con las definiciones antes citadas la evaluación de una política pública

como análisis científico se basa en procedimientos y técnicas, se intenta superar las

evaluaciones subjetivas de los ciudadanos y, a pesar de ser un juicio, éste debe resultar de

observaciones concretas en normas y valores lo más objetivos posibles10, con el fin de

acrecentar la consideración de los hechos concretos en detrimento de la influencia de los

prejuicios.

Pero las evaluaciones no son neutrales, son hechas por actores, ajenos o no a la

política, que poseen ideologías, e intereses11. En otras palabras, los criterios de la

evaluación dependerán de quién los formula, de cuál es su intención y su visión del mundo,

ya sean las realizadas por actores que participan en alguna fase de la política o por actores

externos, ajenos a la misma.

Análisis de los actores en la fase evaluación en una política pública, el Programa

Trabajar.

En el presente apartado se analiza el Programa Trabajar, en su fase de evaluación,

con el propósito de examinar el mapa de actores, y el papel que juegan, en la fase de

9 En cambio la situación conflictiva que presenta la evaluación para Nirenberg et. al.(2000, 42 y s), se vincula con la resistencia al cambio, puesto que evaluar conlleva para las autores una transformación de por ejemplo la forma en que se trabaja, lo que genera oposición y renuencia. 10 Por valores objetivos, hacemos referencia a “la corrección de la subjetividad individual que se encuentra en la intersubjetividad, lograda mediante la incorporación de diferentes actores lo cual genera espacios de confrontación y reflexión conjunta, para permitir acuerdos y consensos sobre distintos aspectos y sobre los juicios valorativos (Nirenberg et.at, 2000: 94)”. 11 Entendidos como intereses objetivos o subjetivos e ideología como mapas cognitivos. (Acuña y Repetto, 2001: 18 y s)

8

evaluación de dicha política pública12. Para tal fin, y de acuerdo con el marco teórico

adoptado, se emplea el enfoque relacional que interpreta el contenido y la dinámica de las

políticas públicas como resultado de la interacción entre actores relevantes, sean éstos

estatales, de la sociedad o del sistema internacional (Repetto, 2002:34).

El Programa Trabajar, desde su primera versión hasta la tercera, ha tenido cambios

en su diseño y en sus procedimientos operativos, de los cuales algunos son el resultado de

los procesos de evaluación. A pesar que se realizaron diversas evaluaciones al Programa,

las mismas no constituyen un proceso integrado y sistematizado, puesto que se efectuaron

en diversos momentos, con distintos objetivos y sobretodo porque las llevaron adelante

actores diferentes. Por ello se analizan las evaluaciones en función de dos grandes

categorías, las internas del propio Programa y las externas.

Las evaluaciones internas, a cargo de los ejecutores del Programa, se vinculan con

las previstas en el diseño del mismo. La gran mayoría son evaluaciones de los proyectos de

infraestructura con el objeto de determinar su viabilidad dentro de los parámetros

establecidos en el programa para su aprobación (Res. S.E.yC.L. N 397/98). Por otro lado

existen instancias de evaluación del desempeño y desarrollo del Programa, tarea que

realizan las Unidades Regionales de Aprobación (Urat), a través de indicadores de

monitoreo. Mediante éstos se pretende detectar oportunamente las deficiencias, obstáculos

y/o necesidades de diseño y ejecución del Programa13, son indicadores cuantitativos

orientados a la comprobación periódica de la adecuación entre las metas y objetivos

propuestos y los alcanzados. Sin embargo, los mismos se refieren al seguimiento

estrictamente físico-financiero del Programa.

Situación que dista de la propuesta de Nirenberg (2001) sobre las evaluaciones

internas de programas nacionales que se concretan en proyectos que se ejecutan en

diversas provincias y municipios, a cargo de organismos públicos y de ONGs, como es el

caso del Trabajar. La autora propone un modelo evaluativo aplicado por diferentes actores

ubicados en los distintos niveles de gestión. De esa forma participan en el mismo los

actores locales, provinciales y nacionales, con las mismas dimensiones, variables e

12 Las fuentes que se utilizan en el presente apartado referidas al Programa Trabajar son diversos documentos del Banco Mundial y del Ministerio de Trabajo y Seguridad Social. Por otro lado, el análisis de la evaluación al Programa Trabajar se efectúa en conjunto, lo que incluye a sus tres versiones. 13 Dichos indicadores cuantitativos están relacionados con el ciclo de los proyectos, la información sobre los beneficiarios directos, sobre la ejecución del presupuesto, sobre la cobertura, los pagos a los beneficiarios, el resultado de los proyectos, el costo de los mismos, la extensión de los objetivos en áreas pobres y la asistencia técnica. Res. S.E.yC.L. 202/97.

9

indicadores, pero con diversas técnicas de acuerdo a los niveles y con un marco conceptual

y metodológico compartido14.

Por otro lado el Ministerio de Trabajo (2000a), como responsable del Programa,

realizó “Diagnósticos de Base”, que se centran en el análisis de la población beneficiaria,

donde se exponen las características de la misma en tres aglomerados, se presentan datos

respecto a la caracterización sociodemográfica, los antecedentes laborales, las

particularidades de los hogares de la población objetivo, y las diversas formas de

vinculación con el Programa. Tales estudios fueron completados por un segundo informe

(Ministerio de Trabajo, 2000b) que analiza los mismos aspectos antes señalados, pero sin

discriminar por lugar de residencia.

De acuerdo con lo expuesto se puede concluir que desde la instancia interna, los

encargados del Programa centran las evaluaciones en un control cuantitativo, basado en el

monitoreo de la gestión y la implementación y en la presentación de informes diagnósticos

enfocados en la caracterización de los destinatarios. Sin embargo, según la información

relevada, es pertinente preguntarse por la existencia de evaluaciones a posteriori o estudios

que analicen cualitativamente los datos. En otras palabras, que excedan los fines

burocráticos y de control y se centren en análisis la gestión y de sus resultados, esto es en

maximizar el impacto y la eficacia de los fondos a través del conocimiento y las acciones

correctivas que de ellos derivan.15

La evaluación interna del Programa Trabajar concuerda con el diagnóstico de

Cohen sobre la tendencia dominante en la evaluación de políticas sociales en América

Latina que utilizan como parámetros de medición indicadores de ejecución presupuestaria,

cobertura y costos mínimos de prestación de servicios. Sin embargo ninguno de ellos da

cuenta del impacto en función de los objetivos sociales que los justifican puesto “la

eficiencia del gasto no garantiza necesariamente su impacto” (Cohen et al, 2001: 20).

Respecto a las evaluaciones externas a la gestión e implementación del Programa,

las realizaron dos actores. Uno fue el SIEMPRO16 y el otro el Banco Mundial (BM).

14 Nirenberg (2001) asimismo destaca la importancia de la inclusión en el diseño del proceso evaluativo no sólo de los distintos niveles operativos, sino de los actores que programan y de los destinatarios de las acciones. 15 Al respecto cabe destacar que a pesar de no encontrar ningún informe de tales características, desde la Unidad Ejecutora Central y en las diversas instancias provinciales, funcionan instancias ‘informales”, que sirvieron de retroalimentación para mejorar el desempeño del programa. (esta afirmación se basa en una entrevista realizada a Sebastián Carrera, miembro de la UEC, el 20 de agosto de 2002 en Buenos Aires). 16 El SIEMPRO fue creado en el año 1995 por la resolución 2851/95 de la ex Secretaría de Desarrollo. Surgió en el marco de un préstamo del Banco Mundial y actualmente posee financiamiento de dicho organismo y del Banco Interamericano de Desarrollo. A partir de diciembre de 1999 pasa a depender de la Secretaría de Tercera Edad y Acción Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente, y en

10

El SIEMPRO, entre sus diversas actividades, efectúa monitoreos y evaluaciones de

programas sociales, para lo cual realizan distintos tipos de evaluaciones. En el caso del

Trabajar el SIEMPRO realizó una evaluación diagnóstica (1997)17 de la primera versión

del Programa con el fin de realizar un análisis en profundidad de la ejecución. Es una

evaluación de procesos que centra su atención en distintos aspectos del programa: las

relaciones institucionales, la formulación de los proyectos y su ejecución, la focalización

de los beneficiarios, el flujo de fondos, y en el perfil de los beneficiarios.

Tal evaluación se realizó para obtener un diagnóstico de la implementación del

Programa en su primera versión y sus conclusiones y recomendaciones fueron utilizadas

para modificar y rediseñar el Programa en su segunda versión.

Por su parte el BM, realizó una evaluación del Programa que denominaron de

impacto y se basa en diversos estudios separados realizados por dicho organismo. El

propósito de la evaluación efectuada por el BM es determinar si el programa está o no

logrando alcanzar sus objetivos normativos, e indicar los campos en los cuales el programa

necesita una reforma a fin de maximizar su eficacia. (Baker, s/f y BM, s/f). La misma

consiste en diversos estudios, con objetivos distintos, que se realizaron para evaluar los

siguientes aspectos del Programa:

1. los aumentos netos de ingresos que se acumulan para los participantes en el Programa,

2. la asignación de los recursos del programa en las diversas regiones (focalización)

3. la calidad de la infraestructura que los proyectos han financiado, y

4. el papel de la comunidad y las ONGs en los resultados de los proyectos.

El primer aspecto lo analizaron en el estudio que se plantea evaluar de las ganancias

netas en ingreso de los beneficiarios (Jalan y Ravallion, 1999). Tal objetivo no es ajeno al

Trabajar, puesto que el Programa se propone reducir el impacto de la caída del nivel de

ingresos de los hogares pobres por la pérdida de empleo, por lo que el BM está interesado

en analizar las trasferencias netas de ingreso y ello realiza por medio del cálculo el costo de

oportunidad, es decir los ingresos que el beneficiario deja de percibir por otros trabajos al

incorporarse al programa. Los criterios y las técnicas que se utilizaron fueron una encuesta

de niveles de vida (Encuesta de Desarrollo Social EDS)18, otra encuesta realizada a los

la actualidad se ejecuta dentro del Consejo Nacional de Coordinación de Políticas Sociales de la Presidencia de la Nación. 17 La evaluación fue realizada con colaboración de CRISOL Proyectos Sociales y CEDEI. 18 La EDS fue desarrollada por el Ministerio de Desarrollo Social y financiada por el BM bajo otro proyecto. La misma fue diseñada para mejorar la calidad de la información sobre el bienestar de las familias en Argentina, particularmente en el campo del acceso a los servicios sociales y los programas sociales.

11

fines de la evaluación a los participantes y un grupo de control como referencia

comparativa para medir los efectos de la política19.

El estudio que analiza el segundo aspecto señalado, la focalización, (Ravallion,

1999) examina la asignación de recursos del Programa por regiones con la finalidad de

verificar la orientación hacia los grupos beneficiarios específicos. Para realizar esta

evaluación el BM se basó en datos del Ministerio de Trabajo respecto a asignación de

fondos del Programa en las provincias y los comparó con índice de pobreza “necesidades

básicas insatisfechas” establecido a partir del censo de 199120. Es un estudio centrado en el

análisis de la focalización del programa en los sectores pobres, es decir si se seleccionan

bien los destinatarios, pero no el impacto del programa en ellos, puesto que es un análisis

del proceso de asignación de fondos, con el fin de aumentar la eficiencia operativa del

programa. Se busca determinar la medida en que los componentes de un proyecto

contribuyen o son disfuncionales a los fines perseguidos, es decir detectar las dificultades

que se presentan en la programación y en la implementación, siendo su objetivo central

medir la eficiencia con que opera el proyecto (Cohen y Franco, 1992: 110) por medio de

observar, un aspecto del mismo, su focalización.

El estudio destinado a evaluar la calidad de los proyectos de infraestructura que se

financian, tercer aspecto del Programa que evalúa el BM, se realizó mediante el análisis de

costos-beneficios21. El análisis se centra en el producto del programa, es decir, en los

resultados concretos de las actividades desarrolladas, en éste caso, las obras de

infraestructura física. Al ser un análisis que se realizó una vez finalizada la obra debe

brindar elementos para determinar “la utilidad de la continuación del proyecto o para (...)

establecer la conveniencia de realizar otros del mismo tipo”(Cohen y Franco, 1992: 183).

Para evaluar el cuarto aspecto el BM efectúo una evaluación social (Estebanez y

Feliu, 1998) que se propone analizar ciertos aspectos de la implementación. Para realizar

tal propósito realizaron una evaluación que se plantean indagar sobre la participación de

19 El grupo de control fue extraído de una muestra de la encuesta EDS y las comparaciones con los participantes del Programa se realizaron sobre la base de similitudes en las características observadas. 20 Para analizar la focalización la metodología consistió en la realización de regresiones de los datos sobre las asignaciones de fondos en las distintas áreas geográficas con los índices de pobreza geográfica. El coeficiente resultante estima un “diferencial de focalización” dado por la diferencia entre las asignaciones promedio del programa a pobres y no pobres. Se descompone el diferencial nacional de la focalización para evaluar la contribución del mecanismo de focalización del gobierno central con respecto a la focalización del gobierno local en el nivel provincial. 21 De acuerdo con el informe del BM realizó por medio de un muestreo y visitas al campo por parte ingenieros civiles que calificaban a los proyectos sobre la base a indicadores (agrupados en las siguientes categorías: técnicas, institucional, ambiental, socioeconómica). Éste último no se realizó para las escuelas y los centros de salud.

12

las ONGs en el Programa, de las mujeres como beneficiarias, el rol de los municipios y la

percepción social de los diferentes actores involucrados. La denominan “evaluación social”

puesto que la finalidad del estudio evaluativo es detectar los problemas o dificultades de la

implementación a partir de la evaluación que realizan los diversos actores, es decir está

enfocada en la perspectiva de los actores del programa desde sus diversos roles, ya sea

como beneficiarios directos, indirectos, técnicos u organismos responsables22. Por lo que

podemos sostener que es una evaluación que pretende identificar los efectos del Programa

desde la perspectiva de los propios intervinientes, y a partir de allí analizar el proceso de

implementación.

Al respecto cabe realizar una aclaración, el análisis que se realiza en éste tipo de

evaluaciones, que incorporan las percepciones del programa de los diversos actores

involucrados en el mismo está vinculado con el objeto de conocer el efecto del programa,

como señalan Meny y Thoenig “el efecto puede ser comprensible concreta y

materialmente, pero también de forma simbólica y abstracta (...) los efectos se refieren a

las opiniones y a las percepciones de la gente (...) puede tratarse de la satisfacción que

experimentan, o no, los usuarios o los beneficiarios de una intervención”(1992: 197). Sin

embargo la evaluación social del BM no es una evaluación pluralista como la define

Guerrero Amparán (1995) puesto que ésta no requiere sólo de los distintos puntos de vista

de los interesados, es necesario una interpretación múltiple, dinámica y consensual de los

efectos, para ello es necesario que sea un proceso colectivo del analista junto con los

actores23.

Una vez descriptas brevemente las diversas las evaluaciones, la intención es

considerar rol de éstos actores en el proceso mismo. Como se observó la fase evaluación en

el Programa Trabajar, no constituyó un proceso integrado y continuo en el cual

participaron los diversos actores, al margen de las diversas temporalidades que realizaron

evaluaciones sobre el Programa, cada actor las realizó por separado y con diversos

objetivos.

22 La misma fue realizada por sociólogos mediante entrevistas a grupos focales para los cuatro tipo de actores que intervinieron en el Programa (organismos responsables gubernamentales, ONGs, beneficiarios directos e indirectos), asimismo se realizaron entrevistas semiestructuradas a los miembros de la oficina central del Programa y a los responsables técnicos de las gerencias provinciales. 23 Por otro lado, tampoco es una evaluación plural como la conceptualiza Subirats puesto que, al igual que en el caso anterior, no es suficiente con incorporar la perspectiva de los beneficiarios y los actores interesados, se deben construir criterios de evaluación comunes con el fin de fomentar consenso mediante un proceso social de aprendizaje a través del cual es posible resolver en conjunto los problemas que afrontan las políticas públicas. (1995:10).

13

La evaluaciones internas pueden considerase como un monitoreo de la gestión e

implementación del programa tanto las que realizaron los ejecutores como los responsables

del Programa.

La evaluación del SIEMPRO se realizó cuando el programa no poseía

financiamiento externo y efectuó sólo una al Trabajar y como se destacó se centró en

analizar el proceso y los aspectos de su implementación. A modo de hipótesis se podría

considerar que al realizar el BM las evaluaciones centró su atención en otros programas

sociales, pero también que la evaluación que realizó el SIEMPRO fue requerida por el BM

para conocer el estado de la cuestión, puesto que sus recomendaciones fueron incorporadas

en la segunda versión del Trabajar.

A partir de la implementación del Trabajar II, observamos que el BM juega un

papel central en el proceso de evaluación, los demás actores (tanto los beneficiarios,

organismos participantes en las distintas etapas del programa, como los encargados de

implementarlo) aparecen en ésta fase como informantes. Los datos de la Unidad Ejecutora

Central, encargada procesar y elaborar de los indicadores de monitoreo, fueron utilizados

en las evaluaciones que realizó el BM. Por otro lado, dicho organismo relevó otros datos,

que no surgen de tales indicadores. El proceso de evaluación que realizó el BM fue

diseñado por técnicos del organismo, e implementado conjuntamente con el equipo del

proyecto de Argentina y del Banco, y se coordinó con el INDEC, el Ministerio de Trabajo

y el departamento de políticas del Ministerio de Desarrollo Social. Esto nos confirma que

el actor relevante en este proceso es el organismo co-financiador del programa, a pesar de

la participación de otros actores. ¿Por qué es el actor relevante? ¿con qué recursos contó? 24

En primer lugar, el proceso de evaluación se inició durante la preparación del

Trabajar II, que respecto a la primera versión posee modificaciones tendientes a mejorar la

orientación de los proyectos hacia los grupos beneficiarios directos, por medio de una

mayor influencia en el sistema de asignación presupuestaria del Gobierno Central de los

indicadores de pobreza y desempeño provincial y una mayor atención en la evaluación de

en la aprobación de los proyectos de infraestructura ponderando más altos los provenientes

de áreas pobres (en el Trabajar I no se explicitaba ninguna metodología sobre la

distribución). Por otro lado, se incorporan análisis de viabilidad (técnico, financiero,

institucional, socioeconómica y ambiental) de los proyectos, entre otras modificaciones.

Las reformas se realizaron para cumplir con los requisitos planteados por el BM, a pesar

también se incorporaron las recomendaciones que realizó el SIEMPRO. Esto demuestra la

14

capacidad de negociación en las instancias de formulación y gestión del programa, por

medio de la cual puede modificar el diseño del Programa de acuerdo a sus intereses25.

Específicamente respecto a la evaluación, al margen de lo ya señalado, el BM es

quién la diseñó, estableció los objetivos, determinó qué dimensiones evaluar y la

metodología. Asimismo coordinó a los colaboradores internos, contrató expertos y la

financió. Situación que a partir del recurso económico y el peso político puede definir qué

evaluar y cómo. Sin embargo ello no impide que otros actores realicen sus propias

evaluaciones con otros objetivos e intereses. O bien que en el proceso de formulación y de

diseño de la evaluación participen los demás actores involucrados en el Programa, los

decisores políticos, los responsables máximos, los ejecutores, los miembros de las

organizaciones intervinientes y por último, y no por ello menos importante la población

beneficiaria.

En segundo lugar, la posibilidad de acceder a la información durante el proceso de

evaluación, es decir, la colaboración de las distintos participantes del programa, más la

realizada por ellos mismos, fue la que les permitió realizar las diversas evaluaciones que

componen el análisis de impacto. Este recurso que se cristaliza en la capacidad de

descifrar el contexto, que le permite lograr definir un diagnóstico, el problema y la

solución. La orientación en la definición de qué evaluar está vinculada con el concepto del

problema y el interés del BM.

Éste organismo se pregunta por el impacto del Programa en relación a los ingresos

de los participantes, a la focalización (para evitar desviaciones) y a los proyectos de

infraestructura, y por los problemas de la implementación y se asignación de recursos, por

lo tanto se puede inferir que su interés está en el destino y la utilización de sus préstamos y

es esos términos es entendida la eficiencia, por un lado.

Por otro lado el Programa Trabajar, se presenta como un programa de empleo

transitorio, donde el objetivo es “brindar ocupación transitoria a desocupados en

condiciones de pobreza, reduciendo el impacto de la caída del nivel de ingreso de los

hogares pobres por la pérdida de empleo y mejorando la empleabilidad de dichos

trabajadores.” (Res. S.E.y C.L. n° 240/97), para de esa manera disminuir la pobreza

mediante la simultánea generación de oportunidades de empleo y de mejoramiento de la

infraestructura social en las comunidades en condiciones de pobreza.

24 Para el análisis de los recursos de los actores nos basamos en lo propuesto por Acuña y Repetto (2001). 25 De acuerdo con Hintze (2000) los programas con financiamiento externo, cumpliendo con las etapas del “ciclo proyecto”, pasan por evaluaciones ex –ante destinadas a establecer la factibilidad de proyecto y en la formulación incluyen sistemas de evaluación y monitoreo.

15

La evaluación del BM se pregunta por las ganancias netas en ingreso de los

participantes, y pone el acento en la focalización, lo por tanto la problemática de la pobreza

es entendida sólo como una disminución del ingreso. Esto de acuerdo con Lo Vuolo et. al.

está vinculado con el concepto de pobreza del BM, que lo entiende “no como un problema

de redistribución de recursos sino principalmente uno de mejor utilización de recursos

productivos (..) la salida que se ve para la pobreza es la fundamentalmente por la

utilización de fuerzas productivas de los propios pobres (...) se trata de un problema de

elecciones racionales entre actividades”(1999: 112). Por ello uno de los criterios que

utilizó el BM es el costo oportunidad de participar en el Programa en relación al ingreso

sacrificado (el ingreso de los que no participan en el mismo) y en base a ello se centran las

características de los beneficiarios y su distinta clasificación y la percepción que poseen de

la política que los tiene como destinatarios.

Al seleccionar solamente éste impacto (las transferencias netas de ingresos), se

dejan de lado los demás contenidos en los objetivos del Programa, como por ejemplo la

mejora de la empleabilidad de los beneficiarios26. Considerar sólo un aspecto de los

resultados del Programa, reduce el objetivo del mismo.

En tercer lugar la capacidad de representación, podemos entenderla para éste actor,

en ésta fase, al rol de los expertos y los consultores encargados de las evaluaciones, en un

sentido particular, puesto que al presentarse como miembros del BM, están representando

y cumpliendo la función que éste organismo les encomienda, por lo cual la actitud de los

consultados, es brindar la información, puesto que están los que demandan los datos están

aparados por el Banco y lo representan. A pesar que no poseen un respaldo legal que

ampare su accionar (si fuera un actor estatal), ni liderazgo para expresar con legitimidad a

su base (si fuera un actor social), al ser un actor que financia la mayor parte del programa,

es considerada legítima su preocupación por la implementación del programa, por lo tanto

sus miembros, representan esa inquietud.

Por otro lado el BM se presenta ejerciendo el rol tradicional del evaluador, como

depositario de saberes técnicos y responsable del rigor científico. El rol del experto se

observa en los diversos estudios que elaboraron modelos teóricos, los instrumentos de

recolección de información aisladamente. Asimismo sus conclusiones se presentan como

26 Sin lugar a dudas medir tal aspecto del objetivo del Programa es dificultoso y requiere de un estudio ex post más avanzado en el tiempo y la posibilidad de conformar grupos de participantes del Programa y de observarlos después de que hayan participado del mismo con el fin de determinar si aumentó o no su “empleabilidad”. No obstante ello los recursos económicos y técnicos que mostró tener el BM en las estudios analizados, tal complicación no parece ser un problema, siempre y cuando el BM tuviera interés en ello.

16

deducciones de la racionalidad de las técnicas empleadas, descontextualizadas de la

realidad en que se desarrolló el Programa y neutralmente valorativas.

Respecto a los demás parámetros que hace que determinados actores se constituyan

en relevantes en un proceso de una política pública27, el BM no los posee sin embargo ello

no constituye un impedimento ni una limitación, puesto que en ésta fase no son

determinantes para éste actor.

En síntesis, durante el proceso de evaluación del Trabajar el BM demostró interés

en conocer los resultados de la acción y de los fondos prestados. Respecto a los demás

actores, vemos que durante esta etapa participan en función de tal demanda, tanto los

beneficiarios al participar en la evaluación social, como los responsables de la gestión en

cooperar con la evaluación. Nos preguntamos qué consecuencias trae aparejado que el BM

sea el actor determinante en ésta fase del Programa Trabajar? ¿qué sucede con los demás

actores? ¿cuál es el interés en la evaluación? ¿qué recursos (y o capacidades) e intereses

poseen para participar en la misma?

En primer lugar que el BM sea el actor relevante en la fase evaluación, significa

que las evaluaciones estarán orientadas a satisfacer los intereses de tal organismo. Pero

tales intereses ¿son los mismos que los que poseen los demás actores? Sin lugar a dudas

no, por ejemplo el Estado, que a pesar sea un actor que también financia del Programa y

que puede compartir la preocupación por el uso eficiente de los recursos con el BM, su

interés está (o debería) enfocado, también, hacia el éxito o no de tal modalidad de

intervención. Lo que conduce a indagaciones sobre el impacto de la política de acuerdo al

objetivo de la misma, en el sentido si se logró o no subsanar el problema que dio origen a

la política pública, al margen de que también tenga otros intereses respecto a las diversas

dimensiones de la política pública.

Hemos señalado que evaluar una política significa efectuar un juicio de valor sobre

la misma, por ello que tal juicio sea determinado, o exclusivamente definido, por el BM,

afecta, en primer lugar la representatividad de los demás actores intervinientes en todo el

ciclo de la política pública.

Ahora bien cabe indagar sobre la ausencia de los demás actores en ésta fase. ¿A qué

se debe? La respuesta a tal pregunta, nos conduce a analizar varios aspectos. En primer

lugar nos preguntamos ¿los demás actores no son relevantes en ésta etapa porque no

27 Nos referimos a los demás recursos que señalan Acuña y Repetto (2001) la capacidad de movilización social y de acción colectiva.

17

poseen los recursos necesarios, lo que impide constituirse como tales, o porque no poseen

un interés en participar en la misma y sí en otras etapas de la política? Lo que nos lleva a

analizar qué valor le asignan a la evaluación para que consideren importante participar en

dicho proceso, y cuál es lugar que ocupa la evaluación al momento de definir y rediseñar

las políticas públicas. Por otro lado también nos lleva a preguntarnos a cómo generar el

marco institucional para lograr que el proceso de evaluación sea más democrático y

pluralista, en el sentido que estén representados todos los actores.

Para comenzar a delinear algunas posibles respuestas a tales preguntas nos

alejaremos del caso presentado, considerando que el análisis de la fase de una política

pública, intentó dar cuenta de qué actores y en base a qué recursos participaron en tal

“micro proceso” (es decir en la evaluación, del “macro proceso” del ciclo completo del

Programa Trabajar). Pero tal “micro proceso” en el que interactúan ciertos actores nos

permite realizar otro corte analítico. Nos referimos a la fase evaluación en sí misma, a su

aspecto institucional, es decir a la estructura de incentivos que moldean el comportamiento

de los actores en ésta fase. Por ello podemos analizar a la evaluación no sólo en esa política

pública, sino delinear algunas conclusiones sobre las reglas de juego y la estructura de

incentivos y restricciones en esa fase.

Para tal propósito nos centraremos en el análisis de la política del Estado frente a la

evaluación, considerando la capacidad diferencial de actuación del Estado frente a otros

actores, al momento definir y coordinar cómo, con qué objetivos y quiénes participan al

momento de evaluar las políticas públicas.

Algunas líneas sobre la evaluación de políticas como una política pública

Para analizar los actores relevantes en el Programa Trabajar se consideró a la

evaluación como una fase del ciclo de una política pública, sin embargo desde otra

perspectiva, la función de la evaluación de políticas públicas puede ser, también, entendida

como una política estatal en sí misma y con una finalidad precisa. Este segundo enfoque

incluye y engloba en su análisis todos los ciclos de evaluación de las diversas políticas, por

lo tanto a las observaciones ya señaladas. Ello no implica necesariamente que un

organismo estatal lleve adelante las tareas de evaluación, éstas pueden ser delegadas a

instancias no gubernamentales, pero sí indica una decisión estatal frente a la temática.

En otras palabras, las consideraciones que se van a realizar se refieren a los

sistemas de evaluación de las políticas públicas. Los sistemas de evaluación constituyen

estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de

18

los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995) que requieren

la definición de “políticas de evaluación”.

Ospina propone una división analítica de los distintos niveles de evaluación, que en

su conjunto conformarían un sistema de evaluación estatal. De acuerdo con el planteo de la

autora en nivel más micro se desarrolla la evaluación de desempeño de los empleados que

compete al área de gestión de recursos humanos y el nivel intermedio (nivel meso)

corresponde a la evaluación de las organizaciones públicas encargadas de proveer servicios

públicos e implementar políticas públicas. A un nivel más macro se encuentra la

evaluación de programas que cruzan varias organizaciones, y en un cuarto nivel la

evaluación del desempeño del gobierno, como un conjunto de instituciones que

implementan políticas que se han gestado democráticamente y por lo tanto representan un

pacto con los ciudadanos (2001: 104). Cada uno de los niveles requiere mediciones y

evaluaciones de distinto tipo, pero para que integren un sistema deben estar

interconectados y articulados.

No nos centraremos en todos los niveles de evaluación, sino solamente en el que se

refiere a la evaluación de las políticas sociales, que de acuerdo con la división propuesta

por Ospina corresponden principalmente a los últimos tres niveles28.

En cuanto a la evaluación de políticas sociales, en los últimos años, se han

desarrollado diversas instancias de evaluación al momento de formular las políticas

sociales29 y se introdujeron mecanismos de seguimiento y monitoreo que se implementan

desde los ámbitos de gestión y de responsabilidad de cada una de ellas, sin embargo tales

instancias se encuentran descentralizadas y desarticuladas entre sí. Por tal motivo nos

centramos en el organismo del Estado nacional que realiza evaluaciones de los programas

sociales, el SIEMPRO30.

Respecto al SIEMPRO queremos destacar sólo algunos aspectos respecto a qué

programas se evalúan, cómo y quiénes llevan adelante el proceso (y qué sucede con las

evaluaciones)31. Por lo tanto no se analizan los avances ni las debilidades del organismo en

28 A pesar de ello no hacemos referencia, específicamente, a las evaluaciones organizaciones o institucionales sino a las políticas públicas que éstas implementan. Aunque ambas dimensiones están conectadas y son interdependientes. 29 A modo de ejemplo la definición del Marco Lógico del BID. (BID, 1997) 30 También en el Plan de Modernización del Estado posee como objetivo la mejora de la gestión pública por medio del seguimiento y la evaluación de las políticas públicas. Sin embargo debido al poco desarrollo y avance en las áreas sociales, no nos centraremos en su análisis. 31 Las consideraciones que se efectúan sobre el SIEMPRO, no forman parte de un trabajo de investigación en profundidad sobre el organismo, sino que se basa en un conjunto de reflexiones a partir de la lectura de cierta bibliografía. Por ello son breves y se refieren sólo a los aspectos señalados y se realizan con el fin de

19

materia de evaluación de programas sociales, que exceda la recopilación y sistematización

de la información del gasto social y su grado de focalización, ni el rol de ese organismo en

el ámbito estatal, tanto intersectorial como interjurisdiccionalemente32.

Si se analiza qué programas fueron evaluados, desde la implementación del

SIEMPRO hasta la actualidad, se observa que la mayoría posee financiamiento de

organismos multilaterales de crédito33. ¿A qué se debe esto? Según Neirotti (2000) porque

se actúa en respuesta a condiciones impuestas por dichos organismos para la obtención de

crédito, incorporando la “racionalidad” desde afuera. Por ello el autor señala que no están

claras las prioridades entre las áreas a evaluar ni cómo se eligen los programas sujetos a la

evaluación, sino que se han llevado a cabo según la demanda de los programas o de los

organismos financiadores (Neirotti, 2001). Repetto en el mismo sentido, destaca que el

número de estudios realizados es muy bajo y que los mismos se efectúan con el objetivo de

cumplir con los planes de acción acordados con las instancias financiadoras o para mejorar

el desempeño de un programa en cuestión (2002: 195). Situación que evidencia la

influencia de organismos internacionales en la decisión de armar instrumentos y llevar

adelante procesos de evaluación.

Para evaluar los programas el SIEMPRO utiliza diversas metodologías, con el fin

de abarcar todas las fases de la gestión, la formulación, ejecución y resultados alcanzados:

la evaluación ex ante, las líneas de base, evaluaciones diagnósticas, evaluaciones desde la

perspectiva de los beneficiados, evaluación final de resultados, evaluaciones ex post o

impacto, opiniones evaluativas a programas específicos y de tipo transversal y

evaluaciones del gasto social.

Las evaluaciones realizadas han sido externas (Hintze 2001), es decir fueron

diseñadas y llevadas a cabo por firmas consultoras u organismos internacionales34. La

introducción de las consultorías para realizar las evaluaciones y la externalidad de su

demanda para Martínez Nogueira (2001) implica una reducción de la capacidad analítica

del Estado, puesto que la demanda de conocimiento y de servicios son provistos por grupos

técnicos ajenos a la administración.

ejemplificar el “estado” de la evaluación de las políticas sociales y la política, en este caso, del Estado nacional frente la temática, lo que no implica que la situación sea diversa en otros ámbitos estatales. 32 Tal análisis excede los límites del trabajo, pero sin lugar a dudas constituye una tarea a realizar para comprender el “estado” de la evaluación de las políticas sociales. 33 A modo de ejemplo: el Programa de Atención a Niños y Adolescentes en Riesgo (PROAME), el Programa de Atención a Grupos Vulnerables (PAGV) y el Programa Fondo Participativo de Inversión Social (FOPAR). 34 Como por ejemplo el BM, la Cepal, la OPS, CEPA- CEI, IBOPE y varios consultores evaluadores externos. Ver siempro.gov.ar

20

La práctica de la evaluación llevada a cabo por el SIEMPRO ha introducido

algunas modificaciones en los programas sin embargo estas son aisladas y no constituyen

todavía un aporte para el mejoramiento del diseño y la gestión de los mismos (Neirotti,

2000) 35. Por otro lado a nivel de la orientación de las políticas los aportes provienen de la

sistematización de la información social36 (que no es una contribución menor) pero no de

los resultados de las evaluaciones.

Esta breve descripción y las conclusiones que podemos sacar de ella concuerdan

con las efectuadas respecto a la evaluación del Trabajar.

Se observa una ausencia, a pesar del énfasis en el monitoreo y en el control

financiero y de focalización del gasto social y de la respuesta en función a las demandas

externas, de un interés real por parte del Estado en la evaluación de las políticas públicas.

Esto es un interés en evaluar las diversas las prácticas de gestión e implementación y de los

impactos de las políticas sociales. Esta ausencia se encuentra tanto en el rol de

coordinación de las evaluaciones, en la selección de los programas como en la definición

del alcance y enfoque de las mismas, lo que nos permite suponer el relativo empleo de las

evaluaciones como insumo para la toma de decisiones.

Asimismo se puede vislumbrar la nula incidencia de los destinatarios de las

políticas en el proceso evaluativo y la presencia de los organismos internacionales de

crédito en la temática y respecto a qué programas evaluar. Por otro lado, un rasgo a

destacar es la externalidad de la evaluación y la relativa cantidad de evaluaciones

realizadas respecto a los programas sociales existentes.

Democratizar y pluralizar la evaluación

Frente a la situación descripta destacamos el estado embrionario de la evaluación

como práctica regular y sistemática, y en los casos que se realizaron sus resultados no

alimentan debates en torno a problemas o a las iniciativas para superarlos, los ámbitos que

deberían dar sentido a los trabajos a través de lecturas transversales no existe. De acuerdo

con ello, en la práctica, no existen aún acuerdos generalizados y de implicancia práctica

35Según Nerotti (2000) no se desarrolló una instancia de intercambio y difusión de las experiencias evaluativas para el aprendizaje colectivo de la práctica de la evaluación y la discusión de estrategias para llevarla a cabo. 36 En siempro.gov.ar se encuentran diversos informes sobre el gasto social, informes integrales de algunas provincias, informes sobre la situación social y pobreza, información estadística y las guías de los programas sociales nacionales.

21

sobre el valor que generan buenas evaluaciones (incluyendo monitoreos) en las decisiones

y acciones estatales (Repetto, 2003), puesto que el sistema político no se orienta por ellas.

Como consecuencia de ello las evaluaciones no aportan contribuciones

significativas a la construcción de sentido de las políticas, a la memoria institucional y al

aprendizaje social. Sirven, a lo sumo, para introducir cambios incrementales, pero no para

producir modificaciones de “segundo orden” como serían la adopción de enfoques

alternativos o del cuestionamiento a las conceptualizaciones que responden las políticas

sociales (Martínez Nogueira, 2001). Es decir, no constituyen medios eficientes para

alimentar un aprendizaje social y político que conduzca a la redefinición de problemas o a

la adopción de nuevos marcos interpretativos mediante la reconstrucción de los procesos

sociales, la identificación de las lógicas operantes y las estrategias de los diversos actores.

La evaluación de políticas sociales está atravesada por decisiones políticas en

términos de definición de prioridades sociales, distribución de recursos y, en última

instancia, de poder. Por ello las reflexiones producto de la evaluación respecto a la

importancia de un programa, su significado, el de sus logros y la efectividad alcanzada

reflejan un proceso de toma de decisiones y establecimiento de prioridades (Nirenberg et

al, 2000: 97) Asimismo los juicios valorativos sobre esas dimensiones se relaciona con los

intereses de los actores que realizan la evaluación.

Por ello apelamos no sólo a la construcción de un proceso sistemático de

evaluación sino también a que éste sea un proceso abierto y participativo, en el cual puedan

estar representados los intereses, valores, necesidades y demandas de todos los actores

intervinientes, ya sea los que toman las decisiones, los que financian las políticas, los que

las implementas como, y fundamentalmente, los destinatarios de las mismas.

De acuerdo con ello crecemos necesario que se deben generar ciertas pre-

condiciones para que efectivamente pueda avanzarse en un doble proceso de mejorar y

democratizar el proceso evaluativo de las acciones gubernamentales. Mejorar en el sentido

de extender la práctica evaluativa en todos los niveles e instancias y que las mismas

formen parte de un sistema evaluativo, y por democratizar apelamos a políticas

participativas en el proceso de evaluación.

En primer lugar es necesario que el Estado37 se “apropie” de la evaluación, en el

sentido que comience a demandarla y a orientar sus decisiones en torno a los resultados de

37 Sostuvimos al inicio del trabajo que el Estado no se presenta como un actor único, sino que en su interior existen actores con intereses contrapuestos y tales divisiones internas dentro del aparato estatal también

22

las mismas. Considerando que la evaluación es una herramienta para reformar políticas y

un mecanismo de transformación y mejoramiento de los programas sociales, que no es un

fin en sí misma ni un mero instrumento de control sino de aprendizaje, y que requiere ser

institucionalizada a través de una cultura de la evaluación (Hintze: 2001) En pocas

palabras que el Estado demuestre un interés real y no aparente en evaluar las políticas

sociales, lo que lo constituiría como un actor relevante en el proceso evaluativo.

Esto implica que a partir de tal decisión política, el Estado desarrolle la capacidad

política necesaria para fijar objetivos, movilizar recursos y llevar adelante acciones y

capacidad organizacional y de gestión para definir y articular distintos los roles y las

funciones de los diversos actores involucrados y coordinar los diversos procesos

evaluativos.

En segundo término nos podemos plantear cómo hacer para superar las deficiencias

y la ausencia de ciertos actores en esta fase, lo que nos lleva a considerar el entramado

institucional en el cual las normas, prácticas y las interrelaciones entre los diversos actores

involucrados en la evaluación promueven debilidad y prácticas “hegemónicas” en la

evaluación. Y aquí, se pueden considerar dos posibles caminos.

Uno es que el Estado utilice los recursos con los que cuenta, por esto nos referimos

al recurso que le es propio: la capacidad de autoridad, es decir la posibilidad de ejercer el

poder público en función de que en última instancia las políticas son fijadas e

implementadas por el Estado. Lo que sin duda requiere que se dé lo que señalamos más

arriba como primera condición. Con el recurso de autoridad el Estado podría generar

nuevas reglas de juego e interrelaciones entre los diversos actores y, lo que consideramos

más importante, generar y articular los mecanismos y canales de representación de los

diversos actores intervinientes en el proceso evaluativo, sobre todo de los actores que no se

constituyen como tales en ésta fase.

Otro camino sería, en el caso que los resultados de las evaluaciones se conviertan

en decisivos al momento de definir la continuidad o la transformación de una política, que

los actores hasta el momento ausentes en ésta etapa, evalúen la trascendencia de participar

en dicho proceso, por lo que podrían movilizar recursos que utilizan en otras etapas de las

políticas públicas, como por ejemplo la capacidad de movilización social y de acción

establecen relaciones con los diversos actores sociales, en función de sus intereses. No obstante ello cuando hacemos referencia, en esta parte del análisis, al Estado, queremos expresar la necesidad (o el deseo) que el resultado de dichas disputas se orienten hacia la una concepción que valore la evaluación de las políticas sociales.

23

colectiva, con el fin de “presionar” para participar del proceso. Sin embargo éste camino,

no soluciona el problema de los actores más débiles.

En tercer lugar, sin entrar en la discusión sobre qué metodologías y técnicas de

evaluación utilizar para realizar evaluaciones plurales y participativas38, que desarrollan

visiones conjuntas entre los diversos actores internos con de los evaluadores externos, es

necesario asimismo que dadas esas precondiciones se recuerde que evaluar implica

estimar, calcular, apreciar el valor de una cosa (Lo Vuolo et al, 1999: 73) lo que conduce a

indagar sobre los valores y las cualidades de una política social que la hacen valiosa, es

decir permitir la discusión abierta y plural, para construir consensos sobre el valor de los

objetivos que persigue una política social en relación al sistema social y político.

38 Hintze (2001), Nirenberg et al (2000) como Sulbrant (1994), sólo por citar algunos autores, desarrollaron “modelos” de evaluación participativos.

24

Algunas reflexiones finales:

Durante el transcurso del trabajo se intentó, a partir de un enfoque centrado en los

actores, analizar quiénes son los actores relevantes en el proceso evaluativo en una política

social, el Programa Trabajar, y en una instancia de institucionalización de la evaluación del

Estado nacional como el SIEMPRO.

A partir de ello se observó el modo en que se presenta la relación entre los

principales actores, lo que señaló la poca o nula capacidad de influir en el proceso

evaluativo, y por lo tanto en el modo en que se evalúa y aprecia una intervención estatal,

ya sea en su proceso de diseño, ejecución como interpretación de los resultados, de los

diversos actores estatales y de los beneficiarios de las políticas.

Por lo cual señalamos la necesidad de modificar del actual entramado de reglas

formales e informales actualmente resultante, e hipotetizamos algunos caminos posibles

para lograr y superar la externalidad de la evaluación y las evaluaciones esporádicas que

excedan el monitoreo de la gestión, y sobre todo para que en ella estén representados todos

los actores intervinientes. En otras palabras que mejoren la organización y representación

entre los de agentes estatales (ya sea políticos, expertos y administradores de los distintos

niveles) y los diversos sectores que componen la sociedad, en especial aquellos con

menores recursos de organización y voz para expresar sus necesidades y valores.

La reflexión sobre los diversos caminos o precondiciones necesarias para lograr una

evaluación plural y democrática no está cerrada y ello requiere la realización de estudios

más profundos que se orienten en esa relación.

Sin embargo creemos importante señalar a modo de comentarios finales que la

evaluación de las políticas públicas, y de las sociales, es una necesidad democrática, que

no sólo se basa en el conocimiento de la ciudadanía de los resultados de los programas y en

control de las acciones gubernamentales sino que también implica su incorporación e

interacción al momento de evaluar, lo que enriquece el debate social y político y viabiliza

la participación y la democratización las intervenciones sociales.

Por otro lado constituye un insumo que el Estado no debe menospreciar si su

objetivo es no sólo mejorar su desempeño administrativo sino un fortalecimiento en cuanto

a mejorar el impacto y la eficiencia de las políticas públicas y sociales, lo que implica una

constante evaluación del alcance de las políticas, para poder tomar decisiones orientadas a

reducir la injusticia social y a promover el desarrollo económico, en base a la información

provistas por las evaluaciones.

25

Porque si el objetivo es lograr un Estado mejor (no solamente más chico) es

necesario fortalecer las instituciones y las políticas públicas que redefinan la actual

distribución del ingreso y de poder social. Ello conlleva a preguntarse y discutir los

objetivos de las políticas públicas entre todos los sectores y actores sociales involucrados,

pero sobretodo con la incorporación de los grupos más alejados del poder, por medio de

creación de canales de participación efectiva que reduzca las desigualdades, lo que implica

una nueva forma de entender la relación entre el Estado y la sociedad civil.

26

BIBLIOGRAFÍA:

ACUÑA, Carlos y REPETTO, Fabián. (2001) “Marco de análisis de las políticas sociales”, Mimeo, Buenos Aires.

AGUILAR VILLANUEVA, Luis F. (1993) “Estudio Introductorio” en Aguilar Villanueva (comp.) Problemas Públicos y Agenda de Gobierno, Miguel Porrua, México.

Banco Interamericano de Desarrollo. (1997) Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos, Oficina de Evaluación (EVO), Washington, D.C.

Banco Mundial (s/f) “Evaluación de los beneficios del trabajo subvencionado: Programa Trabajar de Argentina”, Washington, D.C, www.worldbank.or

BAKER, Judy (s/f) “Anexo 1.1 Evaluación de los beneficios de los programas de trabajo públicos con salario mínimo para los pobres: El programa TRABAJAR de Argentina”, en Evaluación del impacto de los proyectos de desarrollo en la pobreza, Banco Mundial, Washington, D.C, www.worldbank.org

COHEN, Ernesto y FRANCO, Rolando (1992) Evaluación de Proyectos Sociales, Siglo Veintiuno Editores, México.

COHEN, Ernesto; TAPIA, Leonel; NAVARRETE, Cecilia; GIL, Carlos; FANTA, Gloria. (2001) Los desafíos de la reforma del Estado en los programas sociales; tres estudios de casos, Serie Políticas Sociales Nº 45, Enero, CEPAL, Santiago de Chile.

ESTEBANEZ, María Elina y FELIU, Patricia (1998) “Programa Trabajar II. Evaluación Social. Informe Final”, Buenos Aires, www.wordbank.org

FOX, Jonathan (1994) “Capítulo 2: State-Society Internacional and Distributive Reform in México”, en The Politics of Food in México, Cornell University Press, Ithaca and London.

GUERRERO AMPARAN, Juan Pablo (1995) “La evaluación de las políticas públicas: enfoques teóricos y realidades en nueve países desarrollados”, en Gestión y Política Pública, Vol. IV, Nº1, Primer Semestre, México.

HINTZE, Susana (2001) “Reflexiones sobre el conflicto y la participación en la evaluación de políticas sociales”, ponencia presentada en el VI Congreso Internacional del CLAD, Buenos Aires.

JALAN, Jyotsna y RAVALLION, Martin (1999) “Income Gains to the Poor form Workfare: Estimates for Argentina’s Trabajar Program”, Banco Mundial, Washington DC, www.worldbank.org

LO VUOLO, Rubén, BARBEITO, Alberto, PAUTASSI, Laura y RODRÍGUEZ, Corina (1999), La Pobreza...de la política contra la pobreza, Miño y Dávila Editores, CIEPP, Buenos Aires.

MARTINEZ NOGUEIRA, Roberto (2001) “Historia, aprendizaje y gestión pública: las políticas dirigidas a la pobreza en el Estado remanente”, trabajo presentado en el Seminario “Historia y políticas sociales”, Universidad Nacional de General San Martín.

Ministerio de Trabajo y Seguridad Social (2000a) “Resultados del Diagnóstico de Base: Población Beneficiaria del Programa Trabajar en Resistencia, Mendoza y Tucumán”, mimeo, Buenos Aires.

Ministerio de Trabajo y Seguridad Social (2000b) “Segundo informe: Programa Trabajar”mimeo, Buenos Aires.

27

MENY, Yves y THOENIG, Jean-Claude (1992) “Cap. VII: La evaluación”, en Las políticas públicas, Ariel, Barcelona.

NIRENBERG, Olga; BRAWERMAN, Josette y RUIZ, Violeta (2000) Evaluar para la transformación, Paidós, Buenos Aires.

NIRENBERG, Olga (2001) “Nuevos enfoques en la evaluación de proyectos y programas sociales”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires

NEIROTTI, Nerio (2000) “Reflexiones sobre la práctica de la evaluación de programas sociales en Argentina (1995-1999)”, ponencia presentada en el V Congreso del CLAD, Santo Domingo.

NEIROTTI, Nerio (2001) “La función de evaluación de programas sociales en Chile, Brasil y Argentina”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires.

OSPINA, Sonia (2001) “Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano”, en Revista Reforma y Democracia del CLAD Nº 9, Febrero, Caracas.

OSZLAK, Oscar y O’DONNELL, Guillermo (1984) “Estado y políticas estatales en América Latina: Hacia una estrategia de investigación”, en Kliksberg, Bernardo y Subirandt, José (comp.) Para investigar la Administración Pública, INAP, Madrid.

OSZLAK, Oscar (2001) “Estado y Sociedad: ¿nuevas reglas de juego?” En Revista Reforma y Democracia del CLAD Nº 9, Febrero, Caracas.

RAVALLION, Martin (1999) “Monitoring Targeting Performance when Decentralized Allocations to the Poor are Unobserved”, Banco Mundial, Washington DC, www.worldbank.org

REPETTO, Fabián (2001) “Notas sobre los aspectos político-institucionales que impiden la construcción de la autoridad social en el caso argentino”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires.

REPETTO, Fabián (2002) Gestión pública y desarrollo social en los noventa. Las trayectorias de Argentina y Chile, Prometeo Libros, Buenos Aires.

REPETTO, Fabián (2003) “Capacidad institucional: un camino para enfrentar los desafíos de la política social” www.top.org.ar

SIEMPRO (1997) “Evaluación Diagnóstica del Programa Trabajar I”, www.siempro.gov.ar

SUBIRATS, Joan (1995) “Los instrumentos de las políticas, el debate público y el proceso de evaluación”, en Gestión y Política Pública, Vol IV, Nº1, Primer Semestre, México.

SULBRANDT, José (1994) “La evaluación de los programas sociales. Una perspectiva crítica de los modelos usuales”, en Kliksberg, Bernardo (comp.) Pobreza. Un tema impostergable, CLAD/PNUD, Caracas.

TAMAYO SÁEZ, Manuel (1997) “El análisis de las políticas públicas”, en Bañon, Rafael y Castillo, Ernesto (comps.) La nueva Administración Pública, Alianza Universidad, Madrid.

Resoluciones del Ministerio de Trabajo y Seguridad Social: N° 240/97 y N° 327/98. Resolución de la Secretaría de Empleo y Capacitación Laboral: N° 202/97 y N° 397/98.