MANUAL DE EVALUACIÓN DE IMPACTO-2003

Dirección General

Dirección de Planeación

MANUAL DE PROCESO Y PROCEDIMIENTOS DE LA EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL INTEGRAL

Diseñado por: Luis Francisco Ochoa Rojas Profesional Grado 10

Noviembre de 2003

Sistema de

Gestión de la Calidad

Dirección GeneralDirección de Planeación

MANUAL DE PROCESO Y PROCEDIMIENTOS DE LA

EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL INTEGRAL

Fecha: Noviembre de 2003 Versión: 1 Página 2 de 40

2

Control del Documento

Nombre Cargo Dependencia Firma Fecha Autores Luis Francisco

Ochoa Rojas Profesional Grado 10

Dirección de Planeación

2003

Revisión Aprobación

Sistema de






3

TABLA DE CONTENIDO

PRESENTACIÓN ................................................................................................................................................. 4

OBJETIVO DEL MANUAL ................................................................................................................................. 5

ALCANCE DEL DOCUMENTO ......................................................................................................................... 5

1. ALGUNOS FUNDAMENTOS TEÓRICOS ............................................................................................................ 6

1.1. EVALUACIÓN .................................................................................................................................................... 6 1.2. EVALUACIÓN DE IMPACTO ........................................................................................................................... 7 1.3. EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL ........................................................ 8 1.4. ¿PARA QUÉ SE EVALÚA EL IMPACTO DE LA FORMACIÓN PROFESIONAL? ................................... 8 1.5. ¿CÓMO EVALUAR EL IMPACTO DE LA FORMACIÓN PROFESIONAL? .............................................. 9 1.6. DISEÑOS METODOLÓGICOS PARA LA EVALUACIÓN DE IMPACTO ................................................ 10 1.7. ASPECTOS A MEDIR Y VALORAR EN LA EVALUACIÓN DE IMPACTO ............................................. 12

2. PROCESO Y PROCEDIMIENTOS PARA LA EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL ........................................................................................................................................................... 14

2.1. SELECCIONAR DISEÑO DE INVESTIGACIÓN EVALUATIVA DE IMPACTO A UTILIZAR ................ 17 2.2. DISEÑAR INDICADORES DE EVALUACION DE IMPACTO ................................................................... 18 2.3. DISEÑAR INSTRUMENTOS DE RECOLECCION DE DATOS ................................................................ 19 2.4. DISEÑAR METODOLOGIA DE RECOLECCION DE DATOS .................................................................. 20 2.5. CAPACITAR METODOLOGICAMENTE A LOS RESPONSABLES OPERATIVOS DE LA

EVALUACIÓN DE IMPACTO DE LA FORMACIÓN ........................................................................................... 22 2.6. RECOLECTAR LOS DATOS EN LOS INSTRUMENTOS (FORMULARIOS)......................................... 22 2.7. DIGITAR LOS DATOS RECOLECTADOS .................................................................................................. 23 2.8. PROCESAR ESTADISTICAMENTE LOS DATOS DIGITADOS ............................................................. 24 2.9. ANALIZAR LA INFORMACION PROCESADA ........................................................................................... 24 2.10. ELABORAR INFORMES .............................................................................................................................. 25

REFERENCIAS DOCUMENTALES Y BIBLIOGRAFICAS CONSULTADAS .................................................. 26

ANEXOS ....................................................................................................................................................................... 28

Sistema de






4

PRESENTACIÓN En el marco del documento CONPES 3188 del 31 de julio de 2002 en el que somete a consideración del Consejo Nacional de Política Económica y Social una propuesta de institucionalización de la evaluación de impacto como instrumento de apoyo en la toma de decisiones de programación y asignación del gasto social, así como en la orientación, diseño y formulación de políticas y programas de inversión social, se desarrolla el diseño de éste Manual. La institucionalización de la evaluación de impacto como instrumento de apoyo a la toma de decisiones de política social es deseable en la medida en que permite el logro de dos fines asociados: el aprendizaje institucional y el uso racional de recursos escasos. De esta forma, servirá para generar recomendaciones estratégicas de política, orientar y ajustar los programas sociales. De acuerdo con lo anterior, el presente Manual de Proceso y Procedimientos de la Evaluación de Impacto de la Formación Profesional Integral es el resultado de la recopilación y ajuste de experiencias de los estudios de impacto que ha realizado el Servicio Nacional de Aprendizaje SENA en cerca de 15 años, así como de la decantación de las metodologías más reconocidas en este tipo de estudios en el ámbito internacional. Se espera que sea una herramienta de orientación teórico-práctica en el diseño de este tipo de evaluaciones en el SENA y una propuesta metodológica que contribuya a enriquecer el arsenal técnico para la evaluación de los programas de Formación Profesional. El Manual presenta al inicio una breve fundamentación teórica en evaluación y evaluación de impacto, seguidamente presenta las alternativas de diseños de investigación evaluativa de impacto y finalmente la descripción con cierto nivel de detalle del proceso y procedimientos de este tipo de estudios. Como anexos se presentan varios ejemplos de los subproductos que surgen en algunas actividades clave del proceso, que por su nivel de detalle y complejidad ameritan mostrarse como ayuda.

Sistema de






5

OBJETIVO DEL MANUAL Establecer las directrices técnicas y metodológicas que se deben tener en cuenta para la ejecución de la Evaluación de Impacto de la Formación Profesional Integral que imparte el SENA, en consonancia con el sistema de evaluación orientada a resultados en las entidades públicas (SINERGIA). ALCANCE DEL DOCUMENTO Este manual es aplicable en todos los centros del SENA que adelantan programas de formación.

Sistema de






6

1. ALGUNOS FUNDAMENTOS TEÓRICOS Con el propósito de facilitar la comprensión del proceso de Evaluación de Impacto de la Formación Profesional Integral, a continuación se presentan los conceptos básicos sobre evaluación e impacto y la breve descripción de algunos diseños metodológicos y técnicas que la configuran. Cabe anotar también que los conceptos presentados son tratados aquí de la manera más sencilla posible, enfocados a programas educativos y sociales, sin ninguna pretensión de profundidad teórica, habida cuenta del interés técnico, metodológico y práctico que tiene el documento. 1.1. EVALUACIÓN En la literatura especializada se han realizado múltiples esfuerzos con el fin de aclarar el significado de la evaluación, distinguiéndola de otros conceptos como el de medición y el de investigación. Existen numerosos estudios que trabajan el concepto de la evaluación, “los cuales han dado como resultado el establecimiento de varios enfoques evaluativos con su correspondiente significado en educación y ciencias sociales.… Con respecto a la definición de evaluación hay muchos trabajos y propuestas, por ejemplo Tyler (1950) la concibe como un proceso para determinar hasta qué punto se han logrado los objetivos educativos. Nevo (1983) señala que “otra definición muy aceptada es aquella de “suministrar información para tomar decisiones”, sugerida por varios evaluadores tales como Cronbach (1963); Stufflebeam (Stufflebeam et al., 1971) y Alkin (1969). Recientemente se ha alcanzado un amplio consenso entre evaluadores con respecto a la definición de evaluación como la determinación del mérito o el valor (Eisner, 1979; Glass, 1969; House, 1980; Scriven, 1967; Stufflebeam, 1974); o como actividad que comprende tanto la descripción como el juicio (Guba & Lincoln, 1981; Stake, 1967)”. (p. 1). Por su parte Stufflebeam (1987) presenta la definición “que ha adoptado el Joint Committee on Standars for Educational Evaluation. La definición es la siguiente: la evaluación es el enjuiciamiento sistemático de la valía o el mérito de un objeto”. (p. 19).”1 Como se ve no existe unidad de criterio que permita definir la evaluación de manera que satisfaga las distintas perspectivas. Sin embargo para los efectos del presente manual se entenderá la evaluación como proceso de medición y valoración. Como medición, ya que los objetos de evaluación poseen unos atributos que son cuantificables. Como valoración, pues luego de medir los atributos del objeto se puede establecer un juicio sobre el valor o el mérito de ese objeto, esto último teniendo en cuenta los aportes de Stufflebeam y Shinkfield (1987) al respecto.2 1 FRANCO, Nohora Cecilia; OCHOA, Luis Francisco. La Racionalidad de la Acción en la Evaluación. Un análisis crítico desde la Teoría de la Acción Comunicativa. Editorial Magisterio. Colección Mesa Redonda. No. 51. Santafé de Bogotá, D. C., 1997. p. 64. 2 “Los términos valía o mérito también deben ser definidos para enriquecer nuestro concepto de evaluación. Scriven (1981) ya ha indicado las trascendentales diferencias que hay entre ellos y el importante papel que desempeñan a la

Sistema de






7

Es por lo anterior que aquí se entiende la evaluación como el proceso por el cual a través de la medición y el análisis se le atribuye un juicio de valor y de mérito al objeto evaluado, con el fin último de tomar decisiones sobre éste. “Al contar con información objetiva sobre los efectos de los programas es posible tomar decisiones atinadas en materia de asignación de partidas presupuestarias y de planeación de los programas”3 1.2. EVALUACIÓN DE IMPACTO Para abordar el concepto de evaluación de impacto es necesario comprender el concepto de impacto. El impacto está vinculado con la relación causa-efecto, lo que implica que una variable X genera un efecto sobre otra variable Y. El impacto es ese efecto producido. Esta relación se puede expresar en términos de explicación causal, la cual se define como “la respuesta a la pregunta de “por qué” ha sucedido un hecho o aparece un fenómeno, es decir, constituye la respuesta al interrogante sobre las causas o motivos fundamentales, estableciendo en dicha respuesta relaciones lógico-matemáticas que implican mediciones, lo cual está determinado por definiciones escalares de la realidad objeto de indagación evaluación”4. La evaluación de impacto, para el caso de los programas educativos y sociales, mide y valora los cambios en individuos o grupos que pueden ser atribuidos a un programa o a una política específica, en otras palabras mide y valora el efecto de un programa sobre una población beneficiaria del mismo. Esto significa que dicha evaluación busca determinar si un programa o política produjo los efectos deseados en las personas, grupos humanos, hogares o instituciones beneficiarias; y si tales efectos se pueden atribuir a su intervención. También permiten observar consecuencias no previstas en los beneficiarios, ya sean estas positivas o negativas.5

hora de determinar el valor de algo. Por ejemplo, un programa para formar profesores de Historia, ¿podrá producir profesores que enseñen Historia a otros de un modo efectivo y de manera que se pueda confiar con ellos? En general, ¿hará bien lo que se supone que debe hacer? si lo hace, será meritorio, pero puede que no sea válido. Por ejemplo, si la sociedad ya no necesita más profesores de Historia porque ya tiene más de los que puede emplear, entonces aunque el programa sea muy bueno -y quizá sea mejor que otros parecidos-, continuar con el mismo nivel de expansión del programa quizá no sea la mejor manera de gastar sus escasos recursos. Aunque un programa meritorio puede no ser válido, debemos indicar que un programa que no sea meritorio no puede ser válido. Puede que no sea bueno formar malos profesores de Historia aunque exista una gran escasez de ello”. (Stufflebeam y Shinkfield, 1987, p.p. 20-21). 3 WEISS, Carol H. Investigación Evaluativa. Editorial Trillas. México, 1978. p. 14. 4 FRANCO, Nohora Cecilia; OCHOA, Luis Francisco. La Racionalidad de la Acción en la Evaluación. Un análisis crítico desde la Teoría de la Acción Comunicativa. Editorial Magisterio. Colección Mesa Redonda. No. 51. Santafé de Bogotá, D. C., 1997. p. 37. 5 BAKER, Judy L., [email protected] -Evaluating the impact of development projects on poverty: a handbook for practitioners- Washington. Mayo de 2000. p.1.

Sistema de






8

Su objetivo es proveer información y ayudar a mejorar la eficacia de dichos programas o políticas. Las evaluaciones de impacto son herramientas que deben utilizar los encargados de tomar decisiones en la formulación de políticas, y que hacen posible que los ciudadanos puedan exigir cuentas sobre los resultados de los programas que hacen efectivas las políticas públicas.6 1.3. EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL

La evaluación de impacto en el contexto de la formación profesional integral, puede definirse como el proceso mediante el cual se mide y valora los efectos7 de los programas de formación en la satisfacción de las necesidades y requerimientos de los trabajadores y de las empresas. En el ámbito individual del egresado, se orientan a determinar también, las modificaciones sociales, económicas y laborales que pudiesen haber resultado de la formación recibida, o pudiesen atribuirse a su participación en el proceso formativo.8

En este sentido, los estudios de evaluación de impacto también permiten valorar, a nivel de los egresados, la calidad de los servicios de la formación que el SENA imparte en el país.

La evaluación de impacto tiene como propósito intrínseco medir los efectos de la formación sobre la población beneficiaria de la misma: trabajadores egresados y empresarios-empleadores, es decir, los principales clientes de la formación profesional. Estos efectos, cabe señalar, sólo comienzan a tener expresión o vigencia un tiempo después de finalizadas las acciones formativas, generalmente dos (2) años luego de haber finalizado el programa.

1.4. ¿PARA QUÉ SE EVALÚA EL IMPACTO DE LA FORMACIÓN PROFESIONAL?

La información generada por la evaluación de impacto de la formación ayuda a tomar decisiones sobre la necesidad de ampliar, modificar o eliminar ciertos programas de formación, y es posible utilizarla para asignarle prioridad a algunos de éstos. Además, las evaluaciones de impacto contribuyen a mejorar la eficacia de aquellos al abordar las siguientes preguntas: 6 REPÚBLICA DE COLOMBIA. DEPARTAMENTO NACIONAL DE PLANEACIÓN. CONSEJO DE POLÍTICA ECONÓMICA Y SOCIAL – Conpes- Evaluación de Impacto de Programas Sociales. Bogotá, D. C. 31 de julio de 2002. p.5. 7 Habitualmente la eficacia y pertinencia como efectos esperados. 8 http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/newsroom/turin/eval.htm (Oct. 17/2003)

Sistema de






9

¿Logra la formación impartida en los egresados las metas de impacto propuestas?

¿Son los cambios producidos un resultado directo de la formación impartida, o son resultado de otros factores que ocurrieron simultáneamente?

¿Cambia el impacto de la formación impartida dependiendo del grupo al que se está tratando de beneficiar (hombres, mujeres, pueblos indígenas, grupos de desplazados, etc.), o de la región, o a través del tiempo (comparación de series históricas de indicadores)?

¿Tuvieron los programas de formación impartidos efectos inesperados, ya sean positivos o negativos?

1.5. ¿CÓMO EVALUAR EL IMPACTO DE LA FORMACIÓN PROFESIONAL?

La evaluación de impacto de los programas de formación gira en torno a una pregunta fundamental, ¿qué hubiera sucedido en los beneficiarios si la formación no se hubiera realizado en ellos? Aunque esta situación no se puede observar, se puede hacer una aproximación mediante la construcción de un escenario contrafáctico adecuado.

Un escenario contrafáctico es una situación hipotética9 en la que se trata de mostrar las condiciones de los trabajadores en ausencia de la formación, es decir, muestra el estado que presentarían los egresados de los programas de formación del SENA, si ellos no hubiesen recibido tal formación. ¿Cómo construir o visualizar este escenario contrafáctico?, ello depende de varios factores, incluyendo la cobertura del programa.

En programas de formación de cobertura parcial, como es el caso de los programas de formación profesional que imparte el SENA, el escenario contrafáctico se logra comparando a los egresados de los programas de formación (el grupo de tratamiento) con un grupo de control o de comparación. El grupo de control o de comparación está compuesto de personas con las mismas características que los beneficiarios (egresados), pero que no participaron en la formación impartida que se está evaluando.

El grupo de no-participantes se llama grupo de control cuando sus miembros son elegidos al azar; si no es así, se llama grupo de comparación. Para el caso del SENA se establece un grupo de comparación compuesto por los llamados trabajadores homólogos, que son trabajadores que desempeñan labores similares a las de los egresados pero que no fueron beneficiarios de la formación que el egresado sí tuvo en el SENA.

9 Es decir una situación supuesta o ficticia que sirve para hacer una contrastación virtual (experimento comparativo virtual).

Sistema de






10

1.6. DISEÑOS METODOLÓGICOS PARA LA EVALUACIÓN DE IMPACTO La elección del método de estudio en la evaluación de impacto se relaciona con identificación del grupo de control o de comparación, la cual determina el tipo de diseño de la evaluación, que para el caso del SENA puede ser clasificado en algunas de las siguientes categorías: experimental, cuasi-experimental y cualitativo. Los diseños experimentales se fundamentan en la selección al azar de los sujetos de la evaluación. “Al distribuir aleatoriamente la intervención entre los beneficiarios calificados, el proceso de asignación mismo crea grupos de tratamiento y control comparables que son estadísticamente equivalentes entre sí, a condición de que las muestras sean de tamaño adecuado”.10 Los resultados que se obtienen poseen alto grado de verosimilitud, pues los grupos experimental y de control al ser obtenidos de manera aleatoria evitan las dificultades de sesgo que existen cuando su conformación no se hace al azar, por lo tanto los resultados tipifican con mayor precisión los atributos que se están midiendo en las poblaciones. La ventaja de este diseño es la claridad en la interpretación de los resultados del estudio, ya que la influencia del programa sobre el resultado que se evalúa se puede comparar mediante la diferencia de medias de las muestras entre grupo experimental (de tratamiento o beneficiarios del programa de formación profesional) y grupo control. A pesar de lo anterior estos diseños presentan otro tipo de dificultades, tales como la negación de los beneficios del programa de formación a algunos de los que lo necesitan, lo cual sería discriminatorio en la aplicación de programas de políticas públicas, los sujetos de grupo control podrían cambiar condiciones o características que los identifican, lo cual invalidaría o desvirtuaría los resultados y podrían ser estudios muy costosos y prolongados, entre otros. Los diseños cuasi-experimentales se realizan cuando no es posible configurar los grupos experimental y de control de manera aleatoria. Estos diseños poseen grupos de comparación “que se asemejan al grupo de tratamiento, al menos en las características observadas, usando metodologías econométricas que incluyen métodos de pareo, métodos de doble diferencia, métodos de variables instrumentales y comparaciones reflexivas.”11 Los métodos de pareo o controles construidos son aquellos en los cuales se pretende obtener una comparación óptima que corresponda al grupo de tratamiento de un estudio o encuesta semejante pero más amplio en tamaño. La clase de correspondencia al grupo de tratamiento que se usa más frecuentemente es la llamada correspondencia de

10 BAKER, Judy L., [email protected] -Evaluating the impact of development projects on poverty: a handbook for practitioners- Washington. Mayo de 2000. p.2. 11 Ibid, p.3.

Sistema de






11

puntuación de la propensión, en la que el grupo de comparación se contrasta con el grupo de tratamiento a partir de un conjunto de atributos observados en ambos estudios o utilizando la “puntuación de la propensión”, que es la probabilidad estadística proyectada de la participación de la población en el programa dados los atributos observados. Cuando más precisa es la puntuación de la propensión, mayor será la correspondencia entre el grupo de tratamiento con el grupo de comparación. Por ello se concluye que un buen grupo de comparación proviene del mismo ambiente económico-social y se le ha administrado el mismo cuestionario o encuesta por parte de recolectores de la información, similarmente entrenados, que el grupo de tratamiento. Los métodos de doble diferencia o diferencia de las diferencias como las llama Baker (2000), son aquellos en los que se compara un grupo de tratamiento con un grupo de control antes del programa (primera diferencia) y luego de ejecutarse el programa (segunda diferencia). Los métodos de variables instrumentales o control estadístico son aquellos en los que se utiliza una o más variables que intervienen en la participación de los miembros de la población en el programa, pero no en los efectos del programa una vez los sujetos han participado en él. Esto permite identificar la variación de origen externo en los efectos que se pueden atribuir al programa, identificando que su aparición no es aleatoria sino intencional. Las variables instrumentales se utilizan en primer lugar para predecir la participación de la población en el programa y en segundo término se usa para observar cómo varían los indicadores de efecto con respecto a los valores proyectados. Las comparaciones reflexivas son aquellas en las que se efectúa una encuesta de referencia de los participantes en el programa antes del inicio de éste, posteriormente se administra una encuesta de seguimiento. La primera produce la información del grupo de comparación y el efecto se verifica mediante la variación de los valores de los indicadores de resultado antes y después del programa, en el mismo grupo de personas, pero ya considerado como grupo de tratamiento luego del programa. En la mayoría de los casos en que se usan estos métodos, los grupos de tratamiento (de los beneficiarios de los programas de formación) y de control se seleccionan luego de haber impartido la formación usando métodos no aleatorios. También sucede que se selecciona el grupo de comparación antes de la ejecución del programa de formación en el grupo de tratamiento. Para el caso del SENA, como ya se anotó, el grupo de control lo configuran los trabajadores homólogos de los trabajadores egresados, en las mismas empresas donde trabajan los segundos, o en empresas homólogas a las que pertenecen los egresados, cuando las circunstancias lo requieran. La ventaja de estos estudios es que se basan en fuentes de datos existentes, y por lo tanto, son más rápidas y menos costosas.

Sistema de






12

Las evaluaciones de impacto también utilizan diseños cualitativos, los que buscan determinar el efecto de un programa de formación bajo un parámetro metodológico distinto de los contrafácticos. En este tipo de diseños lo que se trata de hacer es comprender los procesos, comportamientos y condiciones como las perciben los individuos o grupos estudiados12. Los métodos cualitativos, en especial la observación de los participantes beneficiarios del programa de formación, suministran información sobre cómo su vida laboral, su economía de hogar, su capacidad de trabajo, entre otros aspectos, se han visto afectados por la formación recibida. Como se puede observar, la integración entre los diseños cuasi-experimentales y los cualitativos para el caso de la Formación Profesional resulta conveniente y útil, pues se pueden establecer controles de coherencia con la ayuda de procedimientos de triangulación13 que permiten efectuar indagaciones independientes de las variables claves que complementan la información cuantitativa con la cualitativa; también se pueden obtener distintas perspectivas, por ejemplo aunque los evaluadores podrían considerar el ingreso como indicador clave de bienestar de los trabajadores egresados del SENA, las variables cualitativas del mismo estudio podrían mostrar que dichos trabajadores estarían mas preocupados por su inestabilidad laboral; ofrece la oportunidad de retroalimentar la interpretación de los resultados y facilita verificar la validez de valores atípicos. 1.7. ASPECTOS A MEDIR Y VALORAR EN LA EVALUACIÓN DE IMPACTO Para caso del SENA se pueden considerar dos actores en los cuales existen atributos que se manifiestan como aspectos a medir y valorar. Dichos actores son: Los egresados, en los cuales hay un componente de bienestar del cual hacen parte el empleo, el ingreso14 y las competencias o desempeños laborales (básicas, técnicas y psicosociales). El SENA, en el cual está la definición, ejecución y evaluación de políticas públicas que se traducen en los programas de formación profesional de los trabajadores teniendo en cuenta las condiciones sociales y económicas del país. Lo anterior implica cobertura, calidad, pertinencia en sentido amplio15 y pertinencia en sentido estricto16 de los

12 Valadez y Bamberger, 1994; citados por Baker en: BAKER, Judy L., [email protected] -Evaluating the impact of development projects on poverty: a handbook for practitioners- Washington. Mayo de 2000. p.8. 13 Se refiere a técnicas de confirmación de resultados de datos obtenidos de un mismo objeto de investigación por tres vías distintas de indagación; generalmente se aplica en investigaciones cualitativas y cuanti-cualitativas. 14 El cual de alguna manera evidencia la rentabilidad de la formación para el egresado, pues compara los ingresos de los que recibieron formación con los de aquellos que no la recibieron, en muestras homólogas. 15 Se refiere a la congruencia entre los programas de formación profesional existente, en los que se gradúan los egresados, con respecto a las necesidades que presenta el mercado laboral en el sector productivo. Dicha congruencia

Sistema de






13

programas de formación ejecutados a través del SENA en cumplimiento de las políticas públicas.

contribuye a hacer menor el desempleo, entendido éste como el porcentaje de egresados que contestaron NO estar trabajando (en la producción de bienes y servicios) en empresas o de manera independiente y que la mayor parte del tiempo, en el momento de la entrevista, han estado haciendo diligencias de búsqueda de empleo; y también contribuye a disminuir el desperdicio laboral neto, entendido éste como el desaprovechamiento del capital humano incorporado en los egresados a través de la Formación Profesional recibida y, por lo tanto, retardatario de su progreso personal, el cual se expresa como el porcentaje de egresados que respondieron estar en OTRAS actividades distintas a estar trabajando o buscando empleo. 16 Se refiere a la congruencia entre conocimientos, habilidades y destrezas expresados en desempeños o competencias que poseen los egresados de la formación, con los requerimientos técnicos generales y específicos que presentan los procesos de producción y/o puestos de trabajo en las empresas donde laboran éstos.

Sistema de






14

2. PROCESO Y PROCEDIMIENTOS PARA LA EVALUACIÓN DE IMPACTO DE LA FORMACIÓN PROFESIONAL

DIAGRAMA DE FLUJO DEL PROCESO DE EVALUACIÓN DEIMPACTO DE LA FORMACIÓN PROFESIONAL

Diseñar indicadoresde evaluación de

impacto de laFormación Profesional

Ley Orgánica del SENAPlan Indicativo

Institucional

Batería de Indicadoresde Impacto de la F. P.

Diseñar instrumentosde recolección de

datos

Datos de laformaciónprofesional

almacenadosen documentos no

electrónicos

Formatos de formulariosde encuesta de estudiosde impacto similares o

anteriores

Formularios derecolección de datos

para Egresados,Trabajadores homólogos

y Jefes inmediatos

Seleccionar diseño deinvestigación

evaluativa de impactoa utilizar

Estudios einvestigaciones previas

sobre formaciónprofesional

Evaluaciones de impactode la formación

profesional anteriores

Literatura internacionalsobre diseños

metodológicos deinvestigación evaluativa

de impacto

Inicio

1

2

3

4

Diseño de investigaciónevaluativa de impacto

seleccionado

Datos de laformaciónprofesional

almacenados enunidades de disco

Datos contenidosen bases de datos

Sistema de






15

Sistema de






16

Sistema de






17

Al iniciar la descripción de esta evaluación, es necesario tener en cuenta que muchos de los datos para la misma surgen de los sistemas de información en uso y de fuentes de información secundaria. Existen otros datos que suministran las personas, en este caso los egresados, los trabajadores homólogos y los jefes inmediatos de éstos, los cuales deben ser recolectados de manera mecánica. Por ello la mayor parte de las actividades descritas corresponden a una ejecución mecánica del estudio de impacto. 2.1. SELECCIONAR DISEÑO DE INVESTIGACIÓN EVALUATIVA DE IMPACTO A UTILIZAR Para realizar dicha selección proceda de la siguiente manera:

Revise minuciosamente los documentos de Plan Nacional de Desarrollo, política de Gobierno, la Ley Orgánica del SENA en lo correspondiente a la Misión, Objetivos y Funciones y el Plan Indicativo Institucional (Plan Estratégico) en los Objetivos Estratégicos para determinar con precisión los resultados o productos de la Formación Profesional Integral que se esperan obtener y que ameritan ser observados en el estudio de impacto.

Realice una indagación en la literatura internacional sobre diseños metodológicos

de investigación evaluativa de impacto, para extraer un abanico de opciones metodológicas (diseños experimentales, cuasi-experimentales y no experimentales –cualitativos-).

Revise los documentos sobre estudios realizados acerca de la Formación

Profesional Integral y sobre evaluaciones de impacto realizadas por el SENA o por otras entidades en este mismo campo, para determinar los aspectos claves de la formación profesional merecedores del estudio de impacto.

Seleccione un diseño metodológico o una combinación de estos, de acuerdo con

los productos de la Formación Profesional Integral determinados en la primera tarea del presente numeral y con los aspectos claves de dicha formación precisados en la tarea inmediatamente anterior.

Redacte un documento en que se describa el tipo de diseño metodológico

seleccionado.

Sistema de






18

2.2. DISEÑAR INDICADORES DE EVALUACION DE IMPACTO17 De la Ley que fundamenta al SENA o del Plan Indicativo Institucional se tomarán los objetivos específicos. De allí deberán derivarse los aspectos concretos del efecto que debe producir la Formación Profesional sobre los egresados de los programas de formación. Para ello proceda así:

Relacione siempre los indicadores a construir con datos que sean posibles de obtener y verificar mediante mediciones u observaciones.

Redacte como objetivos específicos de impacto, los efectos a largo plazo que se

espera ejerza la formación profesional en la población de egresados. (Por ejemplo: Incrementar el ingreso laboral en 20% en los egresados con respecto a los trabajadores bachilleres que no han recibido formación profesional).

Establezca la correspondencia entre cada objetivo de impacto con, mínimo, un

indicador al que se le deberá asignar un nombre que corresponda con sus atributos, ya sea cuantitativamente o cualitativamente.

Defina cada indicador de impacto mediante la descripción de la relación numérica

(relación matemática) o de la escala de atributos cualitativos que mide o valora el nivel de logro del objetivo de impacto.18

Describa la operación (algoritmo) matemática del cálculo de cada indicador de

impacto. En su defecto describa cómo se realiza la observación y la valoración cualitativa del mismo, cuando éste sea cualitativo.

Describa las decisiones que pueden ayudar a tomar los resultados de cada

indicador de impacto.

Revise cada año la batería de indicadores de impacto diseñados y efectúe los cambios que las necesidades de la evaluación requieran, siguiendo el procedimiento anterior.

17 Ver ejemplo en Anexos Nos. 1. 2. y 3. 18 Siempre habrá unos indicadores de impacto permanentes para la Formación Profesional relacionados con empleo, ingreso, desempeño de competencias laborales, cobertura y pertinencia de la formación.

Sistema de






19

2.3. DISEÑAR INSTRUMENTOS DE RECOLECCION DE DATOS19

Tome cada uno de los objetivos de impacto con sus indicadores diseñados en la actividad anterior.

Verifique que en el sistema de información en uso se contengan los datos del

indicador de impacto a medir y valorar, en unidades de disco o en documentos no electrónicos. Si los datos están contenidos en sistemas de información o en unidades de disco, pase a la actividad “2.8. PROCESAR ESTADISTICAMENTE LOS DATOS DIGITADOS”. Si los datos no están contenidos allí, continúe con la siguiente tarea.20

Diseñe tres formularios de recolección de datos así: El formulario para aplicar a

los egresados, será el número uno (No. 1); el formulario para aplicar a los trabajadores homólogos, será el número dos (No. 2) y; el formulario para aplicar a los jefes inmediatos, será el número tres (No.3).

Asigne en los tres formularios en cada zona de respuesta un código

(preferiblemente alfabético: A, B, C, D, etc., siguiendo la secuencia alfabética que poseen las columnas de las hojas electrónicas Excel), el cual debe ser secuencial, de tal forma que el primer código del formulario número dos, por ejemplo AG, sea el que le sigue al último código del formulario número uno, es decir AF. Así sucesivamente hasta llegar a la última zona de respuesta del formulario número tres. Lo anterior con el fin de que los datos obtenidos se puedan trabajar como una gran sábana de datos en hojas electrónicas.

Establezca en cada uno de los tres formularios una serie de preguntas de

identificación y de Información Básica. En identificación aspectos tales como Regional, Centro, Programa de Formación recibido, nombre del egresado, dirección de residencia y número telefónico. En información básica aspectos tales como edad, sexo, nivel educativo, tiempo que demoró para conseguir o generar empleo, datos sobre patrocinio, entre otros.

Construya, por cada uno de los indicadores de impacto, una o varias preguntas

en las que las respuestas permitan cuantificar o cualificar el indicador correspondiente, o en otros casos, recoger datos que, con los obtenidos en otra pregunta o con datos contenidos en el sistema de información en uso, permita realizar el cálculo posterior del indicador. Dichas preguntas estarán consignadas en el formulario que corresponda a la fuente primaria de datos (egresados,

19 En la sección de Anexos se insertan ejemplos de tales instrumentos (formularios) de recolección de datos, los cuales deberán tomarse exclusivamente como prototipos (ver Anexos Nos. 4, 5, y 6). 20 Generalmente se encontrarán las tres formas de contención de datos.

Sistema de






20

trabajadores homólogos y Jefes inmediatos) que sea más pertinente para suministrarlos.

Diseñe al final de cada uno de los formularios un espacio para escribir el nombre

y la cédula del encuestador, así como un espacio para las observaciones. 2.4. DISEÑAR METODOLOGIA DE RECOLECCION DE DATOS Las instrucciones de ejecución de la evaluación de impacto se diseñarán a través del siguiente procedimiento:

Determine la unidad estadística, es decir, la unidad de las fuentes primarias de datos, la que para los efectos de esta evaluación de impacto es el sujeto de la investigación. Generalmente se tomará como sujetos de investigación a los egresados, trabajadores homólogos y jefes inmediatos de éstos.

Determine el universo estadístico, el cual está conformado por el número total

de egresados en el año que esta siendo objeto de evaluación de impacto. Debe tenerse en cuenta que se considerarán como egresados a quienes han concluido las etapas lectiva y productiva de la formación, en cada uno de los programas. El universo estadístico de los jefes inmediatos está determinado por el número de egresados encuestados que se encuentre trabajando en forma dependiente. El universo estadístico de los trabajadores homólogos se define por el número de trabajadores que laboran en los mismos procesos que los egresados y que no han recibido formación profesional en el SENA en el campo que la recibieron los egresados.

Diseñe el cálculo de la muestra estadística con cada uno de los sujetos de la

investigación, si se requiere21. Se calculará la muestra estadística, de manera estratificada, utilizando la “Tabla para determinar Tamaño de Muestra para una Población dada” extraída de Krijcle y Morgan (1970).22

Diseñe el procedimiento de recolección de datos, teniendo en cuenta la

elaboración de listas de los egresados, esto para realizar su localización, previendo la forma de contacto, ya sea, vía formulario de encuesta en página web, vía correo electrónico, vía telefónica, visita domiciliaria, u otras formas.

21 Para este tipo de estudio el cálculo de las muestras depende del tamaño de los grupos de egresados por programa y vigencia. Lo anterior teniendo en cuenta que son poblaciones finitas. 22 Dicha tabla está elaborada mediante cálculo de muestreo para poblaciones finitas y fue publicada por la División de Investigación de la Asociación Nacional de Educación de los Estados Unidos. Ver Anexo No. 7.

Sistema de






21

Describa la manera como se administrarán los formularios de recolección de

datos, tanto en la consignación de las respuestas de los sujetos de investigación como en la numeración consecutiva de los formularios de tal forma que faciliten luego su agrupación para la digitación y procesamiento de las respuestas.

Determine que para el caso de los jefes inmediatos: se entrevista a un número

igual de jefes inmediatos al del número de egresados que se encuentren trabajando en forma dependiente. Cuando en una misma empresa se encuentre más de un egresado, se entrevista a los jefes inmediatos de cada uno de ellos. En las empresas donde de un mismo jefe dependan varios egresados, se harán tantas entrevistas al dicho jefe como egresados tenga bajo su mando.

Determine que en los casos en los que el egresado sea trabajador independiente,

no hay entrevista de jefe inmediato por inexistencia de éste. Se entrevistarán tantos trabajadores homólogos como egresados haya en una misma empresa, excepto en los casos en que el egresado sea trabajador independiente.

Defina la manera como se deberá hacer la crítica (examen riguroso) de la

información consignada en los formularios por el funcionario o el equipo coordinador de la evaluación. En dicha tarea se verificará que los formularios estén numerados consecutivamente tal como ya se indicó, también se revisará que estén consignados los códigos de Regional, Centro y Programa de formación, así como los códigos de la Tabla CIIU (Clasificación Industrial Internacional Uniforme) de actividades económicas en el formulario del jefe inmediato y por último se verificará la confiabilidad y la coherencia interna de las respuestas a lo largo de los formularios diligenciados.

Determine la manera como se deberán remitir a la División de Estudios,

Prospección y Evaluación de la Dirección General los paquetes de formularios de las encuestas diligenciados.

Ensamble un documento, que será el Instructivo Metodológico de la

Evaluación de Impacto la Formación23, con los documentos resultantes del diseño de los indicadores de evaluación de impacto y las instrucciones metodológicas de recolección de los datos, los formularios de encuesta diseñados y la tabla de cálculo de muestras de Krijcle y Morgan.

.

23 Ver ejemplo en Anexo No. 8.

Sistema de






22

2.5. CAPACITAR METODOLOGICAMENTE A LOS RESPONSABLES OPERATIVOS DE LA EVALUACIÓN DE IMPACTO DE LA FORMACIÓN

Haga entrega formal del documento Instructivo Metodológico de la Evaluación de Impacto la Formación a los responsables de la ejecución operativa de la evaluación en las regionales, seccionales, y centros de formación.

Realice una videoconferencia a nivel nacional para presentar, explicar y resolver

interrogantes sobre los aspectos metodológicos de la evaluación a realizar.

Haga responsable a cada dependencia de Planeación regional o en su defecto a los Centros de Formación, de la capacitación metodológica de sus propios funcionarios y personal encuestador.

Atienda y asesore continuamente los interrogantes y consultas de las distintas

áreas responsables de la ejecución operativa de la evaluación de impacto. 2.6. RECOLECTAR LOS DATOS EN LOS INSTRUMENTOS (FORMULARIOS) Además de tener en cuenta lo prescrito en el Instructivo Metodológico de la Evaluación de Impacto, en el momento de la recolección de los datos, las áreas responsables de la ejecución operativa de dicha evaluación, deben realizar lo siguiente:

La División de Estudios, Prospección y Evaluación de la Dirección General coordinará y supervisará con todas las áreas de Planeación regional y éstas con los centros de formación, si se requiere, los tiempos y las acciones específicas que sean necesarias para entrevistar a los sujetos de la investigación ya definidos.

Los responsables regionales de la recolección de la información deberán estar al

tanto de las salidas de campo, las visitas domiciliarias y los sitios de trabajo a visitar, verificar la calidad de las entrevistas, ejecutar las correcciones que se necesiten en la recolección de la información, suministrar aclaraciones o respuestas a las dudas de los encuestadores o de los coordinadores que manejen grupos de encuestadores.

La División de Estudios Prospección y Evaluación de la Dirección General

suministrará atenta y oportunamente toda la información, instrucción o aclaración

Sistema de






23

que le sea requerida, así como también hará seguimiento a distancia a las acciones de recolección de información que se estén realizando en las regionales.

Las dependencias de Planeación de las regionales luego de recogida la

información, enviarán los paquetes de los formularios diligenciados de acuerdo con el Instructivo Metodológico de la Evaluación de Impacto a la División de Estudios, Prospección y Evaluación de la Dirección General.

Previsto lo anterior, también realice lo siguiente:

Coordine la recolección de los datos verificando el diligenciamiento de formularios de encuesta en página web, por correo electrónico, vía telefónica, por visita domiciliaria y por otras formas posibles.

Verifique la calidad de las entrevistas.

Ejecute las correcciones que se necesiten en la recolección de los datos.

La División de Estudios, Prospección y Evaluación de la Dirección General debe suministrar en todos los casos, atenta y oportunamente, toda la información, instrucción o aclaración que le sea requerida sobre los distintos aspectos referentes a la Evaluación de Impacto. 2.7. DIGITAR LOS DATOS RECOLECTADOS

Reciba los paquetes de encuestas diligenciados debidamente por cada Regional.24

Revise la numeración consecutiva de los formularios y los datos de la

identificación, para que los paquetes estén organizados por Regional, Centro y Programa de Formación.

Diligencie en las columnas codificadas del archivo de hojas electrónicas los datos

contenidos en cada formulario, de acuerdo con el código establecido en las zonas de respuesta donde se consignaron los datos suministrados por los sujetos de la investigación.25

24 Esto lo hará la División de Estudios, Prospección y Evaluación de la Dirección General. 25 Este trabajo es muy extenso y requiere experticia de digitación, generalmente se puede contratar a una empresa especialista en este tipo de labor.

Sistema de






24

Establezca un mecanismo de control de calidad sobre la digitación de los datos. Use una tabla de números aleatorios para efectuar revisiones de las sábanas de las hojas electrónicas diligenciadas contra los datos consignados en los formularios. El índice de error de digitación debe ser menor o igual al 3%, en una muestra de 100 datos revisados.

2.8. PROCESAR ESTADISTICAMENTE LOS DATOS DIGITADOS La los datos digitados en el orden prescrito se procesarán de la siguiente manera:

Elabore con la operación matemática del cálculo de cada indicador de impacto, o con la valoración cualitativa de los indicadores que lo requieran, una fórmula de procesamiento en un programa estadístico automatizado.

Introduzca los datos digitados al programa estadístico para su procesamiento.

Active el procesamiento de los datos en el programa estadístico.

Genere la información obtenida por el procesamiento de los datos en función de

cada uno de los indicadores de impacto. 2.9. ANALIZAR LA INFORMACION PROCESADA

Tome la información procesada en función de los indicadores de impacto y organícela para observar los resultados obtenidos acerca del efecto que ha generado la formación profesional en los egresados, teniendo en cuenta cada objetivo de impacto asociado.

Efectúe el análisis, tanto de la información obtenida mediante los formularios de

recolección de datos como de la obtenida por el sistema de información en uso, realícelo indicador por indicador y luego de manera combinada, de tal manera que los resultados de un indicador se puedan conjugar o contrastar con otro u otros de similar naturaleza o de carácter complementario, según los objetivos de impacto con los cuales estén asociados.

Interprete con el análisis de los resultados realizado, el efecto de la formación

profesional en los egresados. Dicha interpretación posee dos componentes: el de explicación (erklären) y el de comprensión (verstehen)26. La explicación se refiere

26 El significado de erklären y verstehen parte de la discusión alemana, desde la Escuela Frankfurt, sobre la naturaleza del conocimiento científico en las ciencias sociales. Dicha disputa opone y reconcilia la medición cuantitativa de las

Sistema de






25

a la determinación causal en la relación de la variable formación profesional con las condiciones de vida o fenómenos asociados al bienestar de vida de los egresados. En ella se asume que la formación profesional ejerce influencia en las condiciones de vida de los egresados y lo que principalmente se hace es señalar la medida del efecto generado. La comprensión se refiere al significado y al sentido de la información resultante de la evaluación. El significado es lo que representan los resultados de la evaluación de impacto de la formación en la aplicación de políticas públicas en el contexto de la nación; allí posee un valor político tanto a nivel de gobierno como a nivel de Estado. El sentido es el rumbo, en términos de política de desarrollo, que adoptan los programas de formación profesional en relación con el modelo de desarrollo económico y sus consecuencias para la población.

2.10. ELABORAR INFORMES

Redacte varios documentos de acuerdo con el ámbito de divulgación de la evaluación27, en los cuales se describan los resultados, se presenten los análisis y las interpretaciones, también señale como establecer acciones de mejoramiento a los programas de formación, indique qué programas deben eliminarse y qué otros estimularse, establezca la modificación de políticas, programas, procesos y procedimientos, administración de recursos y de presupuesto, etc.

investigaciones empíricas de las ciencias de la naturaleza con las observaciones y mediciones cualitativas de las ciencias humanas y sociales. 27 Se pueden elaborar varios informes así: uno ejecutivo para las autoridades institucionales y otras dependencias del Estado, otro para regionales y centros de formación y otro para los especialistas en la investigación evaluativa de impacto.

Sistema de






26

REFERENCIAS DOCUMENTALES Y BIBLIOGRAFICAS CONSULTADAS

1. ABDALA, Ernesto. Evaluación de Impacto: Un reto ineludible para los programas

de capacitación juvenil. Boletín Cinterfor. Montevideo, setiembre-diciembre de 2000.

2. BAKER, Judy L., [email protected] -Evaluating the impact of development

projects on poverty: a handbook for practitioners- Washington. Mayo de 2000.

3. CAMPBELL, Donald; STANLEY, Julian. Diseños Experimentales y Cuasi-experimentales en la investigación social. Amorrortu editores. Buenos Aires, 1973.

4. FRANCO, Nohora Cecilia; OCHOA, Luis Francisco. La Racionalidad de la Acción

en la Evaluación. Un análisis crítico desde la Teoría de la Acción Comunicativa. Editorial Magisterio. Bogotá, 1997.

5. JACINTO, Claudia; GALLART, María Antonia; y Otras. Formación para el Trabajo

de Jóvenes. Formulación y Evaluación de Proyectos, Orientaciones didáctico-pedagógicas. UNICEF – Argentina. Red Latinoamericana de Educación y Trabajo. Nodo Argentino. Buenos Aires, noviembre de 1997.

6. OCHOA, Luis Francisco. Evaluación de Impacto de la formación recibida en los

egresados de la Especialización en Pedagogía y Docencia Universitaria de la Universidad de San Buenaventura, Sede Bogotá. Universidad de San Buenaventura. Bogotá. 2003.

7. OCHOA, Luis Francisco. Ejemplos de diseño de indicadores de impacto.

Documento de trabajo, Bogotá. 1996.

8. REPUBLICA DE COLOMBIA. DEPARTAMENTO NACIONAL DE PLANEACIÓN. Consejo Nacional de Política Económica y Social –CONPES- 3188. Evaluación de Impacto de Programas Sociales. Bogotá, D.C. julio 31 de 2002.

9. REPUBLICA DE COLOMBIA. MINISTERIO DE SALUD PUBLICA. Evaluación de

Impacto del Programa Sistemas Municipales de Salud. Carlos Torres, Ph. D. Evaluación. Bogotá. 1998.

10. REPÚBLICA DE COLOMBIA. SERVICIO NACIONAL DE APRENDIZAJE –SENA-

DIRECCION GENERAL. Evaluación de Impacto de las acciones de formación del SENA 1994. Luis Francisco Ochoa Rojas, Magíster en Educación. Bogotá, Agosto de 1996.

Sistema de






27

11. SERVICO NACIONAL DE APRENDIZAGEM INDUSTRIAL –SENAI-. DEPARTAMENTO NACIONAL. Indicadores de desempenho para a Educaçao Profissional. Rio de Janeiro (Brasil), 1995.

12. THE WORLD BANK. Research News. Volume 4, Number 1. Washington. Spring

1983.

13. UNIVERSIDAD DE LOS ANDES. Facultad de Economía-CEDE. Diseño de un Sistema de Evaluación de Impacto de los servicios de apoyo a las microempresas en Colombia. Santafé de Bogotá, Marzo 1 de 1996.

14. UNIVERSIDAD DE LOS ANDES –CIDER- Análisis de Impacto Programa de

Empleo Urbano. Componente de Capacitación Laboral a Jóvenes. Red de Solidaridad – SENA. Ligia Consuelo Cortés Rengifo. Santafé de Bogotá, julio de 1998.

15. WEISS, Carol H. Investigación Evaluativa. Editorial Trillas. México, 1978.

16. http://www.ilo.org/public/spanish/region/ampro/cinterfor/newsroom/turin/eval.htm

(Oct. 17/2003).

17. http://www.cep.edu.uy/InformacionInstitucional/ProyectosCEP/MecaepInicial/ComponenteEducacionInicialEstudiolongitudinal.htm (Oct. 22/2003).

Sistema de






28

ANEXOS

Sistema de






29

Anexo No. 1 EJEMPLOS DE FORMULACION DE INDICADORES DE IMPACTO

OBJETIVO META NOMBRE DEFINICION CALCULO DEL FRECUENCIA DE RESPONSABLES CONTRIBUCION

1996 DEL INDICADOR DEL INDICADOR INDICADOR MEDICION DEL INDICADOR A

TOMA DECISIONES

Impartir Formación Pro- El 90% de los beneficia- Nivel educativo del jefe Se refiere al número de Sumatoria del No. de Anual Cada uno de los 107 Verifica en qué grupos so-

fesional a los grupos so- rios provendrán de hoga- de hogar años de estudio recibido años cursados dividido Jefes de Centro del ciales se distribuyen los

ciales de menores recur- res de bajos niveles edu- en los distintos niveles de por el No. de encuestas SENA en el país. beneficios de la Forma-

sos. cativos, del sector de los educación (primaria, se- respondidas. ción Profesional de los

trabajadores, con ingre- cundaria y superior) por el trabajadores.

sos familiares no mayo- padre, la madre o por

res a cuatro salarios mí- quien ayudó en la crianza

mos. del egresado.

Actividad ocupacional Se refiere a la actividad Porcentajes de frecuen- Anual Idem Idem

del jefe de hogar productiva-ocupacional cia de categorías ocupa-

a la que se dedica (dedi- cionales (Empleado,

có) el padre, la madre o obrero, jornalero o peón,

quien ayudó en la crianza patrón o empleador,

del egresado. cuenta propia, trabajador

de su propia finca, emplea-

do doméstico, quehace-

res del hogar, rentista de

bienes propios y no sabe)

Nivel de ingresos familiares Se refiere a la cuantía de los Porcentajes de frecuencia Anual Idem Idem

ingresos promedio mensual por rangos de ingreso en una

recibidos por el hogar del escala cuya unidad es el sa-

que hace parte el egresado. lario mínimo ($142.125) hasta

más de diez, es decir, más

de $1.421.250.

Contribuir en el mejora- Los trabajadores egresados Rentabilidad de la formación Se refiere a la medición de Promedio de salarios deven- Anual Cada uno de los 107 Porcentajes mayores de 115

miento económico de los en promedio tendrán salarios cuál ha sido la contribución gados por egresados quienes Jefes de Centro del indican que ha habido renta-

trabajadores egresados. incrementados en un 15% en de los cursos del SENA en la los perciben en el momento de SENA en el país. bilidad de la formación.

comparación con los devenga- obtención de incrementos sa- la entrevista. Este resultado

dos por la población ocupa- lariales por parte de los egre- dividirlo por el ingreso pro-

da del nivel educativo de los sados. medio de los ocupados según

bachilleres. nivel educativo de compara-

ción (bachilleres) a precios de

1996, según la Encuesta Na-

cional de Hogares del DANE

y luego multiplicar todo lo

anterior por 100.

Rentabilidad de la formación Se refiere a la comparación Promedio de salarios deven- Anual Idem Porcentajes mayores de 100

con respecto a Homólogos entre los salarios de los gados por los egresados indican que ha habido renta-

RFH. egresados con los salarios de quienes los perciben en el mo- bilidad de la formación.

los trabajadores homólogos mento de la entrevista, se di-

que no han estudiado en el vide por el promedio de los

SENA. salarios devengados por los

trabajadores homólogos y

luego multiplicar por 100.

Rentabilidad de la formación Se refiere a la comparación Promedio de tiempo (en nú- Anual Idem A más bajos porcentajes

con respecto tiempo de for- entre el tiempo invertido en mero de meses) de la duración (siempre por debajo de 100)

mación versus experiencia. la formación por parte de los de los cursos, se divide por indica que en mayor medida

egresados con el tiempo de el promedio de tiempo (en nú- la formación recibida reem-

experiencia laboral de los mero de meses) de experien- plaza a la experiencia labo-

trabajadores homólogos que cia laboral de los trabajado- ral. Esto hace rentable la for-

que han aprendido su oficio res homólogos de formación mación por el ahorro de

empíricamente. empírica, luego multiplicar tiempo para acceder a mejo-

por 100. res salarios, esto si R.F.H.

Es mayor-igual que 100.

Contribuir en el incremen- La tasa de empleo de los egre- Tasa de empleo Se refiere al porcentaje de los Número de respuestas dadas Anual Cada uno de los 107 Indicativo del nivel de inser-

to de la tasa de empleo sados del SENA será del 90% egresados que están des- a sí estar trabajando (ocupa- Jefes de Centro del ción laboral de los egresa-

de los trabajadores empeñando una función labo- dos) en el momento de la SENA en el país. dos y de comparación in-

egresados a nivel nacio- ral y/o productiva de bienes y entrevista y no estar buscan- versa con la tasa de desem-

nal. servicios en empresas o de do empleo, dividido por la pleo nacional.

manera independiente y que diferencia entre el total de

no están buscando empleo. encuestados con los que con-

tinuaron estudios, luego mul-

tiplicar por 100.

Formar a los trabajado- El nivel de pertinencia de la Pertinencia de la formación Se refiere a la corresponden- Porcentaje de respuestas a los Anual Idem Indicativo de la pertinencia

res egresados con con- formación de los trabajado- cia entre los contenidos de la distintos niveles de la escala de los conocimientos ad-

tenidos técnicos y tecno- res egresados del SENA será formación dada a los trabaja- de pertinencia (Total, Alta, quiridos con respecto a las

lógicos que correspon- mínimo ALTA. dores egresados con las ta- Baja, Nula) con respecto a la tareas o funciones que des-

dan con los aplicados reas o funciones que éste des- aplicación en el trabajo de los empeña el egresado en su

dentro de los procesos empeña en su trabajo. Así co- conocimientos recibidos en el trabajo.

de trabajo de las empre- mo la exigencia de la empresa curso SENA (Permanentemen-

sas o del medio producti- del certificado SENA para in- te, varias veces, rara vez y nun-

vo. gresar a trabajar. ca, equivalentes con los niveles

de la escala señalada). De ma-

nera derivada el porcentaje de

respuestas a sí o a no le exi-

gieron el certificado del SENA

para su ingreso a la empresa

(excepto los trabajadores

independientes)

Sistema de






30

Anexo N.o. 2 DESARROLLO DE LOS INDICADORES DE LA EVALUACION DE IMPACTO

DEFINICION DEL INDICADOR CALCULO INTERPRETACION

NIVEL EDUCATIVO DEL JEFE DE HOGAR Se refiere al número de años de estudio recibido en los distintos niveles de educación (primaria, secundaria y/o superior) por el padre, la madre o por quien ayudó en la crianza del egresado.

Sumatoria de No. años cursados dividido por el No. de encuestas respondidas.

Indicativo del nivel educativo de las cabezas de familia de los egresados.

ACTIVIDAD OCUPACIONAL DEL JEFE DE HOGAR Se refiere a la actividad productiva-ocupacional a la que se dedica (dedicó) el padre, la madre o de quien ayudó en la crianza del egresado.

Porcentajes de frecuencia de categorías ocupacionales (Empleado, obrero, jornalero o peón, patrón o empleador, cuenta propia, trabajador de su propia finca, empleado doméstico, quehaceres del hogar, rentista de bienes propios y no sabe)

Indicativo de la actividad ocupacional de las cabezas de familia de los egresados.

NIVEL DE INGRESOS FAMILIARES Se refiere a la cuantía de los ingresos promedio mensual recibidos por el hogar del que hace parte el egresado.

Porcentajes de frecuencia por rangos de ingreso en una escala cuya unidad es el salario mínimo vigente. La escala de rangos va desde menos de un salario mínimo $172.005 hasta más de diez, es decir, más de $1.720.050.

Indicativo del nivel de ingresos promedio mensual percibidos por el hogar del que hace parte el egresado.

PROPIEDAD DE LA VIVENDA Se refiere al porcentaje de egresados cuyo hogar habita en vivenda propia.

Porcentaje de egresados que respondieron que el hogar del que hace parte, sí habita en vivenda propia.

Indicativo de propiedad de la vivienda donde habita el egresado.

EDAD DEL EGRESADO Se refiere al número de años de vida que tenía el egresado al comenzar la formación.

Su cálculo se hace por porcentajes de frecuencia en rangos de edad (15-19, 20-24, 25-29, 30 o más).

Indicativo de los rangos de edad en los que se distribuyen los egresados de la formación.

DESPERDICIO LABORAL NETO Se refiere al desaprovechamiento del capital humano incorporado en los egresados a través de la Formación Profesional recibida y, por lo tanto, retardatario de su progreso personal.

Su cuantificación se obtiene mediante las tasas de desempleo e inactividad. Entendido el desempleo como el porcentaje de egresados que contestaron NO estar trabajando (en la producción de bienes y servicios) en empresas o de manera independiente y que la mayor parte del tiempo, en el momento de la entrevista, han estado haciendo diligencias de búsqueda de empleo; y entendiendo inactividad como el porcentaje de egresados que respondieron estar en OTRAS actividades distintas a estar trabajando o buscando empleo.Sin embargo es necesario aclarar que aquellos que continuaron sus estudios logran su avance personal al promocionarse educacionalmente, por lo tanto no son considerados como desperdicio y se excluyen para el cálculo de este indicador. D.L.N.= Egresados inactivos-Estudiantes Total Egresados Encuestados x100

Indicativo del desaprovechamiento de la formación recibida en el SENA.

Sistema de






31

RENTABILIDAD DE LA FORMACION Se refiere a la medición de cuál ha sido la contribución de los cursos del SENA en la obtención de incrementos salariales por parte de los egresados. Para ello: También se hace la comparación entre los salarios promedio devengados por los egresados y los salarios promedio devengados por los homólogos en las empresas. Aquí mismo se establece la proporción entre el tiempo promedio de Cursos largos de los Egresados con el tiempo promedio de experiencia laboral de los homólogos.

Promedio de salarios devengados por egresados quienes los perciben en el momento de la entrevista. Este resultado dividirlo por el ingreso promedio de los ocupados según nivel educativo (bachilleres) a precios de 1997, según la Encuesta Nacional de Hogares del DANE, luego multiplicar todo lo anterior por 100. R.F.= . Prom. Sal. Egre. Entrev. Ing. prom. según nivel educ. x 100 El promedio de salarios devengados por egresados quienes los perciben en el momento de la entrevista, se divide por el promedio de los salarios devengados por los homólogos y luego multiplicar por 100. R.F.H.= Prom.Sal.Egre. Prom.Sal.Hom. x 100 El promedio de tiempo (en número de meses) de la duración de los Cursos Largos, se divide por el promedio de tiempo (en número de meses) de experiencia laboral de los homólogos, luego multiplicar por 100. P.T.= Prom. meses Cursos Largos Egre. Prom. meses exp. lab. Homólogo X 100

Porcentajes mayores de 100 indican que ha habido rentabilidad de la formación. Porcentajes mayores de 100 indican que ha habido rentabilidad de la formación con respecto a homólogos. A más bajos porcentajes, (siempre por debajo de 100) indica que en mayor medida la formación recibida reemplaza a la experiencia laboral. Lo cual hace rentable la formación por el ahorro de tiempo para obtener mejores salarios. Lo anterior, si R.F.H. es cercana a 100.

SATISFACCIÓN POR LA FORMACION RECIBIDA Se refiere a la percepción del egresado del SENA sobre la utilidad de los conocimientos técnicos recibidos en el curso para su progreso laboral.

Porcentaje de respuestas dadas a la escala de frecuencia sobre su utilidad (Permanentemente, Varias Veces, Rara vez y Nunca).

Indicativo de satisfacción del egresado sobre la utilidad del curso para su progreso laboral.

TASA DE DESEMPLEO Se refiere al porcentaje de los egresados que no están desempeñando una función laboral y/o productiva de bienes y servicios en empresas o de manera independiente y que están buscando empleo.

Número de respuestas dadas a no estar trabajando (desocupados) y estar buscando empleo, dividido por la diferencia entre el total de encuestados menos los que continuaron estudios, luego multiplicar por 100. . Desocupados . T. E.= Encuestados - Estudiant. X 100

Indicativo de la inserción laboral de los egresados.

PERTINENCIA DE LA FORMACION Se refiere a la correspondencia entre los contenidos de la Formación Profesional recibida por el egresado con las tareas que desempeña en su trabajo. Así como la exigencia de la empresa del certificado SENA para ingresar a trabajar.

Porcentaje de respuestas a los distintos niveles de la escala de pertinencia (Total, Alta, Baja y Nula) con respecto a la aplicación en el trabajo de los conocimientos recibidos en el curso (Permanentemente, Varias veces, rara vez y Nunca, equivalentes con la escala señalada). De manera derivada el porcentaje de respuestas dadas a sí o a no le exigieron el certificado del SENA para su ingreso a la empresa (excepto trabajadores independientes).

Indicativo de la pertinencia de los conocimientos adquiridos con respecto a las tareas que desempeña el egresado en su trabajo.

CALIDAD LABORAL DEL EGRESADO Se refriere al nivel de excelencia del egresado en el desempeño de las tareas laborales.

Porcentaje de respuestas a los distintos niveles de la escala de calidad sobre el desempeño del trabajador (Excelente, Bueno, Deficiente y Malo).

Indicativo de la calidad del desempeño laboral del egresado.

Sistema de






32

Anexo No. 3

CAMPO VARIABLES INDICADORES CALCULO INTERPRETACION CAMPO SOCIOECONOMICO DE LOS BENEFICIARIOS DE LA FORMACION PROFESIONAL INTEGRAL

Nivel Socioeconómico Nivel educativo del jefe de hogar

Nivel de ingreso familiar

mensual Estrato socioeconómico

(Respuestas por nivel educativo/Total de Egresados que contestaron)*100

(Respuestas por nivel de

salario/Total de egresados que contestaron)*100

(Respuestas por estrato/total de egresados que contestaron)*100

% de mayor tendencia muestran características de impacto sobre el origen socioeconómico.

Distribución porcentual de los egresados por nivel de ingresos familiares

Distribución porcentual de los egresados por estrato

INSERCION LABORAL Participación en el mercado

laboral Estabilidad en el mercado

laboral

Tasa de Ocupación Tasa de desempleo Indice de estabilidad laboral

(# de Egresados vinculados/Total de egresados que responden) * 100

Tasa de ocupación de los egresados – Tasa de ocupación a nivel nacional (Región)

(# de Egresados SENA en busca de empleo/Total de egresados que responden) * 100

X = # de meses laborados desde que egreso/Total de meses de egresado del SENA

% de participación de los egresados en el mercado laboral

Empleabilidad de los egresados

% de la inserción laboral de

los egresados Si las respuestas tienden a

uno hay > estabilidad laboral.

DESARROLLO ECONOMICO Ingresos económicos

Desperdicio laboral Promedio de Ingreso

mensual del egresado Rentabilidad salarial de la

formación profesional integral

(# de Egresados dedicados a otras actividades/Total egresados encuestados) *100

Ingreso promedio del egresado = Ingresos mensuales/Total de egresados encuestados

Ingresos promedio del

egresado – Ingreso promedio bachilleres (egresados trabajando) País y región

Ingresos promedio del

Desaprovechamiento de los conocimientos recibidos en el SENA

Nivel de ingresos mensuales promedio

Si el salario promedio de

los egresados es > que el de los bachilleres la formación profesional recibida en el SENA es rentable

Sistema de






33

Anexo No. 4 SENA-Dirección General EVALUACION DE IMPACTO

Dirección de Planeación Formulario para Egresados Formulario No. 1 ADiv. Est., Prosp. y Evaluación 1995

Esta información es confidencial y de uso exclusivo del SENA

I. IDENTIFICACION

Regional B Nombre del egresado:C. C. E

Centro CDirección Residencia: F

Curso DCiudad: GTeléfono: H

II. INFORMACION BASICA1.Edad: I 4.Cuánto tiempo se demoró en conseguir empleo

desde el momento en que terminó el curso SENA:2.Sexo: Hombre 1 (sin contar la etapa productiva)

Mujer 2 J Menos de un mes 1De uno a tres meses 2 U

3. Anote el número de años cursados en cada nivel Más de tres meses 3 educativo: 5. Tuvo patrocinio para este curso:

Si 1Nivel educativo Al ingresar Actualmente: No 2 V

al SENAPrimaria K P 6. El primer cargo que tuvo lo desempeñó en la Secundaria L Q empresa patrocinadora:Técnico M R Si 1Tecnólogo N S No 2 WUniversitaria O T No ha trabajado 3

III. ORIGEN SOCIECONOMICO DEL EGRESADO7. Indique el número de años cursados en cada nivel 9. Indique dentro de la siguiente escala el promedio educativo del jefe de su hogar o de la persona que lo de ingresos mensual que percibe en total el hogarayudó a criar. del cual hace usted parte.

Nivel educativo Años Menos de $ 172.005 1Primaria X Entre $ 172.005 y $ 344.010 2Secundaria Y Entre $ 344.011 y $ 516.015 3Universitaria Z Entre $ 516.016 y $ 688.020 4No sabe AA Entre $ 688.021 y $ 860.025 5

Entre $ 860.026 y $1.032.030 6 AC8. El jefe de su hogar (padre o madre) o la persona que Entre $ 1.032.031 y $1.204.035 7

lo ayudó a criar fué o es principalmente: Entre $ 1.204.036 y $ 1.376.040 8Entre $ 1.376.041 y 1.548.045 9

Empleado 1 Entre $ 1.548.046 y $1.720.050 10Obrero 2 Más de $ 1.720.050 11Jornalero o peón 3Patrón o empleador 4 10. ¿El hogar del cual usted hace parte habita en Jefe de su propio negocio (cuenta propia) 5 vivienda propia?Trabajador de su propia finca 6 ABEmpleado doméstico 7 Sí 1Quehaceres del hogar 8 No 2 ADRentista de bienes propios (vivir de la renta) 9No sabe 10 11. ¿Qué edad tenía cuando ingresó a estudiar en el

SENA?AE

Sistema de






34

IV. PROGRESO ECONOMICO Y LABORAL12. A que dedica actualmente su tiempo:

A estudiar 1 Termine la encuestaA buscar trabajo 2 Pase a pregunta 13.A su propio negocio (independiente) 3 Pase a pregunta 14.A trabajar como empleado 4 AF Pase a pregunta 14.A estudiar y a su propio negocio 5 Pase a pregunta 14.A estudiar y trabajar como empleado 6 Pase a pregunta 14.Otra actividad distinta de las anteriores: 7 Pase a pregunta 13.

14. Actualmente su salario (o ingreso promedio- si es

trabajador independiente-) mensual es de:13. Por qué cree que no ha encontrado trabajo: (Escribir cifras completas)

No tengo la experiencia que exigen 1 $ ________________________ AHNo me satisface el salario 2No hay trabajo en el oficio estudiado 3 AG 15. ¿Los conocimientos aprendidos en el curso Otra: 4 realizado en el SENA, le han servido para su progreso

laboral?Permanentemente 1

Termine la encuesta Varias veces 2 AIRara vez 3Nunca 4

V. MERCADO LABORAL

16. Los conocimientos adquiridos en el curso 18. ¿Ha necesitado recibir capacitación adicional inme-realizado en el SENA los aplica en su trabajo: diata a la que recibió en el SENA para desempeñar

su trabajo?Permanentemente 1Varias veces 2 Si 1Rara vez 3 AJ No 2 ALNunca 4

17. ¿Para su ingreso a la empresa le exigieron 19. De acuerdo con su experiencia, qué temas el SENA el certificado del SENA? (No preguntarlo a trabajadores debe en su Curso:independientes) Incluir AM

Si 1 Complementar AN

No 2 AK Suprimir AO

VI. CRECIMIENTO PERSONAL DEL EGRESADO20. En las actividades propias de su trabajo necesitatomar decisiones:

Permanentemente 1Varias veces 2 22. ¿ Los conocimientose recibidos en el SENARara vez 3 AP le han servido para tomar mejor dichas decisiones?Nunca 4 Termine

la encuesta

Si 1

21. Las decisiones que habitualmente toma en su No 2 ARtrabajo son:

Técnicas 1Administrativas 2 AQOtras 3

(No olvide diligenciar formulario de Jefe inmediato)Observaciones:

Firma encuestado: Encuestador: Fecha:C.C.

Sistema de






35

Anexo No. 5 SENA-Dirección General EVALUACION DE IMPACTO Dirección de Planeación Formulario para Homólogos Formulario No. 3 BHDiv. Est., Prosp. y Evaluación


I. IDENTIFICACION

Nombre del establecimiento: BI

Dirección: BJ Teléfono: BK

Nombre del Jefe inmediato: BL

Nombre del homólogo: BMC.C. BN

Cargo u oficio que desempeña BO

II. INFORMACION BASICA

1.Edad: BP 4. ¿ Ha realizado estudios técnicos relacionadoscon el cargo actual?

2.Sexo: Hombre 1Mujer 2 BQ Sí 1

No 2 BW3. Indique el número de años cursados en cada nivel educativo. 5. ¿La capacitación la recibió en el SENA?

AñosPrimaria BR Sí 1 BXSecundaria BS No 2Técnico BTTecnólogo BU 6. ¿Cuánto tiempo duró la capacitación?Universitario BV (Escribir el tiempo en meses)

Meses BY

EXPERIENCIA LABORAL Y SALARIO

7. ¿ Cuánto tiempo lleva trabajando? (Experiencia 9. ¿Cuál es su salario mensual?laboral) (Escribir el tiempo en meses)

Meses BZ $ CB(Escribir cifras completas)

8. ¿Cuánto tiempo lleva trabajando en el cargo quetiene actualmente? (Escribir el tiempo en meses)

Meses CA

Observaciones:

Firma y sello empresa: Encuestador: Fecha:

Sistema de






36

Anexo No. 6 SENA-Dirección General EVALUACION DE IMPACTO Dirección de Planeación Formulario para Jefe inmediato Formulario No. 2 ASDiv. Est., Prosp. y Evaluación


I. IDENTIFICACION

Nombre del establecimiento: AT

Dirección: AU Teléfono: AV

Nombre del Jefe inmediato: AW

Nombre del egresado: AXC.C. AY

Cargo u oficio que desempeña AZ

II. INFORMACION BASICA

1 Cuál es la principal actividad económica 2. Cuántas personas trabajan en este de este establecimiento. (Qué produce, qué establecimiento:vende o qué servicio presta?)

No. de personas BBBA

(No olvide colocar el código de CIIU en las casillas)

III. CALIDAD LABORAL Y SALARIO DEL EGRESADO

3. Teniendo en cuenta los siguientes factores: 4. El egresado SENA, inmediatamente entró en laConocimientos técnicos sobre el área de trabajo empresa, necesitó recibir capacitación adicional Destreza en la ejecución técnica del trabajo para desarrollar eficientementemente su trabajo?Calidad del trabajo realizado

Cantidad de trabajo realizado Si 1Entrega a tiempo de los trabajos No 2 BDCalidad como persona en su relación con los demás

Capacidad de comunicación mediante informes 5. En qué aspectos:Mantenimiento y conservación de equipos y máquinas

Trabajo en equipo para el logro de resultados productivos

el desempeño del egresado SENA es: BE

EXCELENTE 1 6. Actualmente el salario mensual del egresadoBUENO 2 es de:DEFICIENTE 3 BC $ BFMALO 4 (Escribir cifras completas)

III NIVEL DE PREFERENCIA PARA CONTRATAR AL EGRESADO SENA

7. Con respecto a los trabajadores que tienen una calificación técnica equivalente ¿cuál sería el orden depreferencia que usted tendría para elegir o contratar sus trabajadores en esta empresa?

(Escriba dentro de las casillas en forma ascendente de 1 a 3, siendo 1 el que clasificaría en primer lugar)

Egresados del SENA 1Egresados de otras instituciones 2 BGFormados por la práctica 3

( No olvide diligenciar el formulario del Homólogo)

Observaciones:

Firma y sello empresa: Encuestador: Fecha:

Sistema de






37

Anexo No. 7

N s N s N s

10 10 220 140 1200 29115 14 230 144 1300 29720 19 240 148 1400 30225 24 250 152 1500 30630 28 260 155 1600 310

35 32 270 159 1700 31240 36 280 162 1800 31745 40 290 165 1900 32050 44 300 169 2000 32255 48 320 175 2200 327

60 52 340 181 2400 33165 56 360 186 2600 33570 59 380 191 2800 33875 63 400 196 3000 34180 66 420 201 3500 346

85 70 440 205 4000 35190 73 460 210 4500 35495 76 480 214 5000 357

100 80 500 217 6000 361110 86 550 228 7000 364

120 92 600 234 8000 367130 97 650 242 9000 368140 103 700 248 10000 370150 106 750 254 15000 375160 113 800 260 20000 377

170 118 850 265 30000 379180 123 900 269 40000 380190 127 950 274 50000 381200 133 1000 278 75000 382210 136 1100 285 100000 384

Fuente: Krijcle, R. V., & Morgan, D.W. (1970). Esta tabla está basada en una fórmula publicada por la División de Investigación de la Asociación Nacional deEducación.

Nota: N: es tamaño de la población, s: es tamaño de muestra.

TABLA PARA DETERMINAR TAMAÑO DE MUESTRAPARA UNA POBLACION DADA

Sistema de






38

Anexo No. 8

INSTRUCTIVO METODOLOGICO PARA LA EJECUCION DE LA EVALUACION DE IMPACTO

El proceso de ejecución de la evaluación estará bajo la responsabilidad de las dependencias de Planeación Regional o Seccional en coordinación con los Centros de Formación. 1. UNIDAD ESTADISTICA El sujeto de la evaluación está constituído por: El egresado de los Cursos Largos. El jefe inmediato de los egresados que se encuentran trabajando en empresas. El homólogo en el trabajo del egresado. Dicho homólogo es un trabajador que se encuentra laborando en la misma

empresa del egresado y que reúne las siguientes características: -Que desempeñe un oficio igual al que tiene el egresado SENA (primera alternativa) o uno similar (segunda alternativa). -Que no haya realizado en el SENA un curso igual o parecido al del egresado. -En lo posible estar bajo el mando de un mismo jefe. 2. UNIVERSO ESTADISTICO Está conformado por el número total de egresados en el año de 1995 (quienes han concluído las etapas lectiva y productiva) de cada uno de los Cursos Largos, es decir, Trabajador Calificado (C.A.P.), Técnico Profesional y Tecnólogo en cada regional y seccional. El universo estadístico de los jefes inmediatos y homólogos está determinado por el número de egresados que se encuentren trabajando. 3. METODO DE INVESTIGACION Sobre el egresado: Teniendo en cuenta el número de egresados de cada curso en cada nivel de formación para el año señalado (1995), se calcula la muestra para cada uno de estos utilizando la “Tabla para determinar Tamaño de Muestra para una Población dada” , extraída de Krijcle y Morgan (1970). Dicha tabla está basada en los cálculos de una fórmula publicada por la División de Investigación de la Asociación Nacional de Educación de los Estados Unidos, la cual es la misma que se viene utilizando para Valoración de Alumnos (se anexa al final del documento). Sobre el jefe inmediato: Se entrevista a un número igual al de los egresados que se encuentren trabajando en forma dependiente, es decir, por cada trabajador que labore en una empresa se debe entrevistar a su jefe inmediato. Cuando en una misma empresa se encuentre más de un egresado, se entrevista a los jefes inmediatos de cada uno de ellos. En donde de un mismo jefe dependan varios egresados, a éste se le hacen tantas entrevistas como egresados tenga bajo su mando. En los casos en que el egresado sea trabajador independiente, no hay entrevista de Jefe Inmediato por inexistencia de éste. Sobre los homólogos: Se entrevista a un homólogo por cada egresado que trabaja, excepto en los casos en que el egresado sea trabajador independiente.

Sistema de






39

4. EJECUCION DE LA EVALUACION 4.1. Elaboración de listas de egresados y localización Elaborar una lista teniendo en cuenta el año de egreso (1995) y el respectivo Curso Largo, que contemple los principales datos del exalumno, como son: Centro_____________________ Curso_______________________

NOMBRE COMPLETO DEL

EGRESADO

DIRECCION TELEFONO RESIDENCIA

TELEFONO EMPRESA

OBSERVACIONES

La localización de los egresados se realizará por: teléfono, visita a direcciones encontradas o suministradas por intermedio de compañeros localizados y otras formas que permitan encontrar efectivamente a dichas personas. Si los egresados se encuentran trabajando en otras ciudades, deberá coordinarse con Planeación de la respectiva Regional para hacer las encuestas. 4.2. Recolección de la información Para tal efecto cada Regional o Seccional a través de Planeación deberá tomar los recursos dentro del presupuesto de Administración Educativa y Servicios de Apoyo a la Formación para contratar encuestadores con formación académica de nivel universitario y que acrediten algún tipo de experiencia en este campo. El adiestramiento de este personal para llevar a cabo la encuesta estará a cargo de funcionarios de Planeación de las regionales y seccionales, siguiendo el procedimiento de recolección de información que se utilizó en la Evaluación de Impacto del año anterior. 4.3. Fuentes de información La información básica para la evaluación se obtendrá mediante la aplicación de entrevistas directas consignadas en tres formularios diseñados para tal fin: Formulario No. 1 Egresados SENA Formulario No. 2 Supervisor o Jefe Inmediato Formulario No. 3 Homólogos 4.4. Numeración de los formularios En los formularios para egresado (casilla A), jefe inmediato (casilla AS) y homólogo (casilla BH), deberán ser marcadas con el mismo número en los casos en los que el egresado por supuesto

Sistema de






40

tenga un jefe inmediato y un homólogo (unir los tres formularios con gancho). En los casos en que el egresado tan solo tenga jefe inmediato se marcarán con el mismo número las dos primeras casillas mencionadas ( A y AS ) de los formularios correspondientes (unir los dos formularios con gancho). En los casos en los que el egresado no tenga jefe inmediato, ni homólogo se marcará la casilla (A) del formulario del egresado. 4.5 Crítica y codificación La información consignada en los formularios deberá ser examinada por el funcionario o equipo coordinador regional de la encuesta, verificando que: Estén marcadas con el mismo número las primeras casillas de cada uno de los formularios y estén unidas con

gancho, según los casos descritos en el numeral anterior. Estén bien diligenciados los códigos de Regional, Centro y Curso en la Identificación del formulario para

egresados ( ¡ALERTA! : si estos no están correctamente diligenciados las encuestas serán devueltas a la Regional respectiva).

En la Pregunta No. 1 del formulario para Jefe Inmediato aparezca el código de la actividad económica de

acuerdo con la tabla CIIU que también se anexa, la cual debe manejar el encuestador para que pueda hacer la clasificación de acuerdo con la respuesta del encuestado.

Las respuestas correspondan con el tipo de respuesta solicitado (donde debe marcarse con X aparezcan X , donde

deben aparecer números aparezcan números, donde debe aparecer texto aparezca texto, etc.). La confiabilidad y la coherencia interna de las respuestas a lo largo de las encuestas. Una vez hecha esta crítica y codificación, cada Regional y Seccional procederá a remitir la totalidad de las encuestas organizadas por Curso y por Centro a la División de Estudios, Prospección y Evaluación de la Dirección General, para realizar las tareas subsiguientes del proceso evaluativo.

MANUAL DE EVALUACIÓN DE IMPACTO-2003

Documents

Transcript of MANUAL DE EVALUACIÓN DE IMPACTO-2003