PRESUPUESTOS TEORICOS Y METODOLOGICOS PARA LA EVALUACIÓN DE PROGRAMAS

Eduardo García Jiménez

ÍNDICE Definición y funciones. Actos básicos de la evaluación. Información a recoger Esquema comparativo. Tipos de evaluación de programas. El proceso de evaluación de programas.

Validez. Fases de una evaluación.

1. DEFINICIÓN y FUNCIONES Definición

Determinar el valor de algo de acuerdo con un criterio previo.

Adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que el objetivo satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado.

1. DEFINICIÓN Y FUNCIONESFunciones

Señalar el valor de un programa

Iluminar la comprensión del programa y las perspectivas de valor existentes

Mejorar el programa Facilitar la tomar decisiones

2. ACTOS BÁSICOS DE LA EVALUACIÓN Descripción: Definición de un programa enumerando sus componentes, cualidades y circunstancias.

Juicio: Acto mental por el que pensamos acerca de la verdad o falsedad de un enunciado relacionado con un programa. “El programa consigue ….”.

Evidencias:– Intenciones: el programa que se planifica– Observaciones: el programa que se implanta.– Estándares: de calidad de los programas.– Juicios: de valor sobre un programa.

3. INFORMACIÓN A RECOGER Antecedentes: Cualquier condición con una existencia previa al programa. – Fundamentos en los que se apoya el programa.

Procesos: Interacciones o transacciones que añaden valor a la situación anterior de los sujetos o entidades a quienes va dirigido el programa.

Resultados: Consecuencias en los sujetos o entidades atribuibles al programa.

4. EL ESQUEMA COMPARATIVO

Comparación basada en descripciones.

Comparación basada en juicios.

ANTECEDENTESESPERADOS

ANTECEDENTES OBSERVADOS

TRANSACIONESESPERADAS

TRANSACIONESOBSERVADAS

RESULTADOSESPERADOS

RESULTADOSOBSERVADOS

CONGRUENCIA

CONGRUENCIA

CONGRUENCIA

CONTINGENCIA LÓGICA

CONTINGENCIA EMPÍRICA

CONTINGENCIA LÓGICA

CONTINGENCIA EMPÍRICA

MATRIZ DE DESCRIPCIONES

Datos descriptivosde otros programas

Datos descriptivosde otros programas

AntecedentesTransaccionesResultados

Datos descriptivosdel programa

Normas de calidad

Datos descriptivosde otros programas

JUICIOS

COMPARACIÓN RELATIVA

COMPARACIÓNABSOLUTA

Propuestas observadas

5. TIPOS DE EVALUACIÓN

Según quién evalúa:– Interna.– Externa.

Según su función:– Sumativa y formativa.– Retroactiva y proactiva.– Psicológica o sociopolítica.– Ejercicio de la autoridad.

EL FLUJO DE LA EVALUACIÓN

NECESIDADES

DISEÑO DEL

PROGRAMA

APLICACIÓN DEL

PROGRAMA

Contexto A

FINAL DEL

PROGRAMA

Contexto N

TRANSFERENCIA DEL PROGRAMA

.

.

.

Finalidades Marco

Situación actual

EVALUACIÓN DE NECESIDADES

EVALUACIÓN DISEÑO

EVALUACIÓN IMPLEMENTACIÓN

EVALUACIÓN COBERTURA

MONITORIZACIÓN

EVALUACIÓN RESULTADOS

EVALUACIÓN IMPACTO

5. TIPOS DE EVALUACIÓNSegún los elementos que se están

evaluando

EVALUACIÓN DE NECESIDADES Volumen y características esenciales del problema que la intervención quiere solucionar

Niveles de necesidad (Witkin y Altschuld, 1995):– Nivel 1(Primarias): de los receptores del programa (estudiantes, clientes, usuarios de la información, potenciales usuarios,...).

– Nivel 2 (Secundarias): de los responsables de la planificación, gestión y/o ejecución del programa (profesores, diseñadores, funcionarios de la Administración, profesionales, equipos directivos, inspectores...).

– Nivel 3 (Terciarias): relativas a los recursos o soluciones (equipamientos educativos,condiciones laborales, programas, ratios, tecnología, ayudas, salarios y beneficios...).

EVALUACIÓN DE LA EVALUABILIDAD

Estudiar la posibilidad de evaluación de un programa.

Metodologías:– Análisis documental y entrevistas personales con los diseñadores del programa (en papel).

– Análisis de la realidad empírica (el programa en la realidad)

EVALUACIÓN DEL DISEÑO/ CONCEPTUALIZACIÓN DEL PROGRAMA

Comprobar si el programa se basa en un mode-lo de intervención suficientemente contrastado.

Metodología:– Análisis lógico del programa en relación a:

•Población objeto y los posibles problemas de cobertura.

•Conjunto de actividades que constituyen el programa incluidos los recursos asignados al mismo.

EVALUACIÓN DE LA IMPLEMENTACIÓN

Contrastar si hay discrepancias entre el diseño y la realidad

Metodología:– Describir cuáles son los elementos esenciales del programa según los textos que los especifican.

– Recoger información empírica sobre cómo se aplican, cómo funcionan, etc. esos elementos.

– Deducir si la implementación es adecuada comparando los dos puntos anteriores.

EVALUACIÓN DE LA COBERTURA Analizar hasta qué punto el programa llega a la población a la que está destinado (tasa de cobertura, sesgo, barreras y accesibilidad).

Análisis de la accesibilidad:– Conocimiento del programa por parte de la población objeto del mismo.

– Accesibilidad (física, temporal y mediática).

– Aceptación del programa (accesibilidad psíquica o motivacional).

MONITORIZACIÓN Y SEGUIMIENTO DEL PROGRAMA

Gestionar y dirigir adecuadamente el programa.

Metodología:– Establecer el tipo de información a recoger – Determinar la periodicidad de dicha recogida– Realizar un análisis periódico de la información:

• Cobertura • Esfuerzo (recursos humanos, medios materiales y financieros)

• Proceso (actividades, distribución del tiempo) e implementación

• Productividad (del personal del programa)• Calidad (de la atención e intervención)• Económica (de los costes de la intervención y su eficacia)

EVALUACIÓN DE LOS RESULTADOS

Analizar todas las consecuencias o efectos previstos que tenga el programa sobre la población objeto del mismo (usuarios, beneficiarios).

Metodología:– Identificar los posibles efectos/consecuencias del programa.

– Establecer diseños:•Diseños experimentales•Modelos causales•Diseños cualitativos

EVALUACIÓN DEL IMPACTO Analizar los efectos del programa sobre una población que va más allá de los beneficiarios/usuarios inicialmente previstos.

Metodología:– Identificar los posibles efectos/consecuencias no previstos en el programa.

– Establecer diseños:•Diseños experimentales•Modelos causales•Diseños cualitativos

EVALUACIÓN ECONÓMICA

Analizar el coste del programa en relación a los resultados que éste consigue.

Posibilidades: coste/beneficio, coste/efectividad o coste/utilidad.

Jerarquía evaluativa:Evaluabilidad

ImplementaciónResultados

Económica

Evaluación de necesidades

PROGRAMA

5. TIPOS DE EVALUACIÓNSegún la perspectiva temporal Evaluación ex-ante:

– ¿El programa es pertinente? ¿Tendrá éxito?

Evaluación intermedia:– ¿Se está desarrollando según lo previsto? ¿Se están logrando los objetivos?

Evaluación ex-post:– ¿Cuáles son los logros atribuibles al programa?

6. EL PROCESO DE EVALUACIÓN Marco regulador de la evaluación. Objeto y tipo de evaluación. Finalidad y función de la evaluación. Objetivos.

Identificación de las audiencias. Términos de comparación. Criterios de evaluación. Diseño de evaluación: tipo, participantes, recogida y análisis de datos.

Resolución del diseño de evaluación. Calendario de trabajo previsto. Equipo de evaluación.

6. EL PROCESO DE EVALUACIÓNObjeto y tipo de evaluación ¿Qué programa?

– Oficial– Programa en desarrollo

– Puesto en práctica– Según el cliente– Según los diseñadores

– Según los participantes

– Según las audiencias

¿Qué evaluar?– Necesidades– Evaluabilidad– Diseño/Conceptualización

– Implementación– Cobertura– Seguimiento– Resultados– Impacto– Economía

6. EL PROCESO DE EVALUACIÓNFinalidad y función. Objetivos Finalidad: Informar, ayudar a tomar decisiones, mejorar el programa, rendir cuentas …

Funciones:– Formativa – Sumativa – Proactiva…

Objetivos.

EL PROCESO DE EVALUACIÓNIdentificación de las audiencias Una evaluación puede tener más de un cliente o audiencia.

Diferentes audiencias pueden tener diferentes necesidades de evaluación.

Es necesario identificar las audiencias concretas y sus necesidades relacionadas con el proceso de evaluación.

6. EL PROCESO DE EVALUACIÓNTérminos de comparación

PROGRAMA-A-

PROGRAMA-A’-

PROGRAMA-A-

PROGRAMA-B-

!!PROGRAMA!!

PROGRAMA-A-

PROGRAMA-a, b, c, ...z-

PROGRAMA-A-

6. EL PROCESO DE EVALUACIÓNCriterios Ajuste entre los términos de comparación.

Nivel de mejora respecto a una situación anterior.

Satisfacción de ciertos indicadores o estándares.

Efectos sobre:– personas objetivo, organizaciones, sistemas y comunidad.

Impacto.

EVALUACIÓN DE

NECESIDADES

EVALUACIÓN DEL DISEÑO

EVALUACIÓN DE LA

GESTIÓN y SEGUIMIENTO

EVALUACIÓN DE LOS

RESULTADOS

EVALUACIÓN DEL IMPACTO

Ad hoc basados en modelos.

Sistemas de jueces

Observacionales Correlacionales Causales

Cuantitativos Cuanlitativos

Cuantitativos ParticipativosCualitativos

Tipo survey

Observación

Indicadores sociales

Delphi, DAFO ...

Escalas de valoración

Paneles de expertos

Indicadores.

Informaciones periódicas.

Observación

Tipo survey

Tipo survey

Medidas de rendimiento

Observación

Portafolios

Tipo survey Grupo nominal DelphiForum comunitario

Técnicas estadísticas

Análisis de decisiones

Análisis cualitativos

Análisis de decisiones

Técnicas estadísticas

Análisis cualitativos

Técnicas estadísticas

Análisis de decisiones

Análisis cualitativos

Técnicas estadísticas

Análisis cualitativos

Análisis coste-beneficio

Análisis de impactos micro y macroeconómicos

6. EL PROCESO DE EVALUACIÓN

Resolución del diseño Evaluador, único juez. Equipos de evaluadores. Evaluador/es y audiencias. Evaluación y toma de decisiones: ¿un solo agente o dos agentes distintos?

Validez.

6. EL PROCESO DE EVALUACIÓN

Calendario previsto Detallar actividades, procedimientos, responsables y tiempo asociados.

Contar con los RR.HH y RR.MM al planificar el calendario.

Construir un diagrama de Gantt.

6. EL PROCESO DE EVALUACIÓN

Equipo de evaluación Establecer un propietario del proceso.

Diferenciar funciones y responsabilidades.

Carrera del evaluador, a partir de la formación y la experiencia acumuladas:– Novel.– Junior.– Senior.

7. VALIDEZ DE LA EVALUACIÓN

Útil: En la medida en que da respuesta a las necesidades, problemas o motivaciones.

Procedimiento: Dinámico, sigue la lógica de ajuste al modelo.

Valor: No es universalmente defendible, depende de las audiencias afectadas.

Valor: Depende de que los destinatarios la consideren bien fundamentada o aplicable.

Valor: Garantizada por el evaluador y certificada por las audiencias.

8. FASES DE UNA EVALUACIÓN

Tyler (1950):– Establecer las metas de la evaluación (conduc.)

– Desarrollar instrumen-tos de evaluación

– Recoger datos– Interpretar los hallazgos

– Hacer recomendaciones

Stake (1973):– Describir el objeto – Informar a las audiencias relevantes

– Obtener y analizar sus juicios

– Informar a las audiencias de la sobre el análisis realizado aplicando sus perspectivas de valor

FASES DE UNA EVALUACIÓN(Esquema tradicional)

1. Familiarización con el programa.2. Decisión sobre la viabilidad de la

evaluación.3. Determinación del tipo de evaluación:

a) Funcionamiento del programa (implem./monitor.)b) Efecto sobre la sociedad/comunidad (impacto).c) Resultados/efectos del programa (resultados).d) Consideración de beneficios y costes

(coste/beneficio/utilidad).4. Diseño/proyecto de la evaluación.5. Recogida de la información.6. Análisis de datos/informe.

Identificación de partes interesadas

Organizar con ellas un grupo de trabajo

Delimitación de preguntas y temas de evaluación

Puede identificarse cómo se utilizarán las respuestas a esta pregunta

Buscar nuevas preguntas y temas

SÍNO

SÍ

Dada la utilización prevista, vale la pena hacer la evaluación

NO

Toma de decisiones sobre diseño, métodos y medición

1. Los métodos son adecuados para las preguntas de la evaluación.

2. Los resultados que se obtengan tendrán credibilidad.

3. Los métodos a utilizar están dentro del presupuesto.4. Los resultados obtenidos se utilizarán.

Recogida de información/datos

Análisis de datos

Grupo de trabajo se implica en el análisis

Decisión sobre cómo utilizar y aplicar los hallazgos

Decisión sobre difusión de los hallazgos