Diseño de instrumentos de evaluación
43
EL PROCESO DE EVALUACIÓN BASADO EN NORMAS DE COMPETENCIA: APORTES PARA LA SELECCIÓN DE TÉCNICAS Y DISEÑO DE INSTRUMENTOS Mónica G. Sladogna María Dolores Iacolutti La evaluación como proceso La evaluación basada en normas de competencias se concibe como un proceso de obtención de información válida a los efectos de su interpretación y valoración para emitir un juicio sobre la competencia laboral de los/las postulantes y brindar orientación para mejorar u optimizar su desempeño. Esto da cuenta de su complejidad y de su carácter axiológico, que plantea la necesidad de considerar a la vez los aspectos éticos y los técnicos; ya que la evaluación es fundamentalmente una operación de construcción y de comunicación de un juicio de valor. Evidentemente, cuando se pone en juego una actividad valorativa surgen un conjunto de problemas que hacen referencia a la jerarquía de valores adoptada, a las personas que sustentan la responsabilidad de evaluar, a los propósitos que se persiguen y a la equidad, autonomía, credibilidad e imparcialidad de los juicios emitidos entre
Transcript of Diseño de instrumentos de evaluación
EL PROCESO DE EVALUACIÓN BASADO EN NORMAS DECOMPETENCIA: APORTES PARA LA SELECCIÓN DE
TÉCNICAS Y DISEÑO DE INSTRUMENTOS
Mónica G. Sladogna
María Dolores Iacolutti
La evaluación como procesoLa evaluación basada en normas de competencias se
concibe como un proceso de obtención de información válida
a los efectos de su interpretación y valoración para emitir
un juicio sobre la competencia laboral de los/las
postulantes y brindar orientación para mejorar u optimizar
su desempeño.
Esto da cuenta de su complejidad y de su carácter
axiológico, que plantea la necesidad de considerar a la
vez los aspectos éticos y los técnicos; ya que la
evaluación es fundamentalmente una operación de
construcción y de comunicación de un juicio de valor.
Evidentemente, cuando se pone en juego una actividad
valorativa surgen un conjunto de problemas que hacen
referencia a la jerarquía de valores adoptada, a las
personas que sustentan la responsabilidad de evaluar, a los
propósitos que se persiguen y a la equidad, autonomía,
credibilidad e imparcialidad de los juicios emitidos entre
otros aspectos, siendo esta actividad posible generadora o
inhibidora de cambios de distinto tipo.
Asimismo, para construir “un juicio de valor” y no
dar meramente una opinión sobre la competencia de un
trabajador (los criterios que orientan su acción, los
productos de su trabajo, los conceptos y principios que
transfiere en la resolución de problemas, el manejo de los
fundamentos de su práctica) resulta imprescindible
organizar un proceso que sea continuo, sistemático, global
y comprensivo, teniendo como referente la norma validada
por el sector.
El alcance que damos a las características enunciadas
es el siguiente:
Continuo y sistemático
Porque no se hace referencia a un momento puntual o
a un acto particular o singular, sino a diversidad
de estrategias y técnicas en función de los
propósitos que se persiguen en cada etapa y a una
secuencia de actividades en la que inciden y se
interrelacionan variables de diverso tipo tales
como la vida laboral del sujeto, la organización
del trabajo y su adecuación a las normas, las
actitudes de los distintos actores y el modo en que
se seleccionan, recogen e interpretan las
evidencias, entre otras aspectos.
1
• Global y comprensivo
Global por su amplitud al considerar los distintos
factores que influyen en cada situación. En la
evaluación del/la postulante deben tomarse en
cuenta las distintas variables que inciden en el
proceso de evaluación (actividades, materiales,
equipamiento, tiempo e interrelación de los
sectores involucrados, entre otras).
Comprensivo porque se pretende entender por qué
las cosas son como son, se trata de comprender el
modo en que cada uno/una resuelve las situaciones
planteadas y los incidentes críticos, como así
también, de considerar los errores o dificultades
como indicadores de problemas a orientar, entre
otras cuestiones. En el mismo sentido, interesan
las razones por las cuales se actúa de determinada
manera y de entender cómo influyen los distintos
aspectos de la organización en quien es
evaluado/a.
2
En síntesis:
La evaluación es un proceso continuo,
sistemático, global y comprensivo en el que
resulta necesario considerar no sólo el estado
de desarrollo de las competencias de los/las
postulantes en función de la norma; sino también
los resultados no previstos y toda otra
información significativa que permita la
Esta perspectiva nos permite cuestionar la concepción quela acota a un momento, ya sea la recolección de evidenciasy/o al dictamen del juicio de valor sobre las mismas.
De manera suscinta, podemos analizar las diversas etapasque componen el proceso de evaluación para comprenderintegralmente, de qué manera cada una de ellas condiciona¿?la subsiguiente.
Sintéticamente las etapas a las que nos referimos son:
1.- La programación teniendo como referente elanálisis de la norma de competencia, para:
Definir qué evaluar Seleccionar las técnicas más convenientes para
obtener evidencias y Diseñar instrumentos válidos y confiables.
2.- La recolección de evidencias sobre el desempeñode un/a trabajador/a.
Este proceso de recolección no es azaroso niarbitrario; responde a una programación queposibilita sistematizar la búsqueda de aquellosindicadores que se consideran críticos en lanorma, a los efectos de contar con informaciónpertinente y significativa para formular un juiciosobre la competencia del/a postulante.
La norma de competencia es la explicitación de losrequerimientos del sector de actividad; porconsiguiente, los instrumentos que se utilicenpara recoger evidencias deben responden conidoneidad a los parámetros establecidos.
Este proceso involucra:
3
el análisis de la historia socio-laboral del/apostulante,
el análisis de la organización del trabajo en lacual se desempeña,
la adaptación de los instrumentos que seutilizarán y la definición de los momentosoportunos para relevar las evidencias.
la recolección y registro de indicadores ensituación real de trabajo y/o
la recolección y registro de indicadores ensituaciones creadas para tal fin.
En esta etapa el/la evaluador/a tendrá laresponsabilidad de llevar un registro en el queconsten las evidencias recolectadas, al que se leincorporará, posteriormente, el juicio emitidosobre el desempeño del trabajador y la ratificacióno rectificación del/a postulante y del verificadorinterno1.
Sería bueno añadir un párrafo sobre actitudes ( es
sólo una idea)
Sin duda resultan fundamentales, en todo
esto proceso, sus actitudes personales y
profesionales en relación con el/la postulante y la
empresa, …
3.- La interpretación y valoración de las evidencias
La interpretación y valoración de las evidenciasrecogidas y su comparación con lo establecido en lanorma de competencia posibilita emitir un juicioacerca de la competencia del/a trabajador/a o delos déficits percibidos y de la orientación quepudiera requerirse para superarlos.
En esta etapa resultan fundamentales: 1 La figura del “verificador interno” es aconsejada para que el/apostulante tenga la posibilidad de cuestionar los resultados de laevaluación si esta no lo/a satisface.
4
el criterio del/a evaluador/a su capacidad para relacionar e integrar la
información proveniente de diversas fuentese instrumentos y
su capacidad comunicacional para informar alpostulante y/o la empresa los resultados dela evaluación.
En este documento nos focalizaremos en la primerade las tres etapas del proceso de la evaluación: laprogramación teniendo como referente el análisis dela norma de competencia, factor orientador para ladeterminación del qué evaluar, la selección de lastécnicas y el diseño de los instrumentos.
GRAFICO CON LAS ETAPAS DEL PROCESO DE EVALUACION Y SUSPRINCIPALES RESULTADOS
5
Etapas del Proceso
de Evaluación
Programación teniendo como referente la Norma de
CompetenciaDiseño de
Instrumentos
Recolección de Evidencias
Interpretación y valoración de Evidencias
Registro de Evidencias
Emisión del Juicio de Valor
Devolución de resultados
La norma de competencia como referente de la evaluación
La norma es la especificación de un desempeño laboral queha sido acordado entre los actores del mundo del trabajopara ser utilizado en procesos de evaluación, decertificación, de formación, de selección o de proyecciónde carrera profesional.
Estos desempeños laborales se describen de manera analíticaen diversos documentos que se constituyen en referentes dela evaluación y del diseño de instrumentos, a saber: mapafuncional, unidades y elementos de competencia. De estamanera podemos decir que la norma de competencia, entérminos del proceso de evaluación antes mencionado, es undescriptor exhaustivo que nos brinda informacióndesagregada sobre:
Criterios de desempeño
Evidencias de desempeño
Evidencias de producto
Evidencias de conocimiento
Este nivel de desagregación tiene como finalidadtransparentar la complejidad del desempeño laboral, tantoen lo rutinario como en la resolución de incidentes.
Sin embargo, esta descripción exhaustiva puede llevarnos aincurrir en errores que se reflejarán en la selección delos indicadores y en el diseño de los instrumentos.
El riesgo potencial consiste en perder de vista nuestraconcepción integral de las competencias, situación queexige un esfuerzo permanente por centrarnos en los ejes dela profesionalidad del rol que consideremos críticos; yasea al determinar qué evaluar como al recolectar lainformación que servirá de base para emitir el juicio sobrelas competencias alcanzadas por el/la postulante.
6
Me gustaría ver conustedes la ubicación de los tres
párrafos que siguen
La información obtenida y la norma de competencia sirvende referencia al evaluador al momento de emisión de unjuicio sobre el desempeño profesional del sujeto; noobstante ello, su experiencia profesional se constituyeen un elemento relevante para esta etapa.
En el proceso de evaluación, el evaluador pondrá enjuego su profesionalidad y capacidad de reflexión sobrelos factores críticos, evitando confundir la informacióndesagregada que contienen las hojas de registro con eljuicio de valor.
Lo que buscamos transparentar es la experiencia delevaluador/a, en el campo profesional. En laidentificación y selección de las técnicas, en el diseñode instrumentos y en el análisis e integración deevidencias de distinto tipo provenientes de diversasfuentes, se traduce su capacidad para determinar lacompetencia o no del/a postulante.
7
Criterios de
DesempeñoEvidencias de Desempeño
Evidencias de Producto
Evidencias de Conocimiento
Juicios orientadores de la práctica
Juicios orientadores de la práctica
Saber hacer en proceso
Saber qué, por qué y para qué
Calidad y cantidad del producto logrado
La necesidad de determinar qué evaluarEn el proceso de evaluación resulta fundamental precisarqué se va a evaluar y considerar desde su planeamiento, ladimensión integral de la competencia a la que hacíamosreferencia.
En otras palabras, debemos evitar reducir la evaluación almanejo de técnicas y procedimientos o a la obtención dedeterminados resultados y centrarnos en un planteointegrado del ejercicio profesional en el que converjan,entre otros aspectos:
la aplicación de criterios (éticos y técnicos) que dan cuenta de una práctica reflexiva,
la manera en que se organiza la tarea y se efectúan las comunicaciones,
la gestión, administración de recursos y solución de los problemas o incidentes,
la forma en que se generan condiciones que garanticen la calidad, la seguridad y la productividad.
En el siguiente gráfico se presentan sintéticamente algunosaspectos a contemplar para seleccionar el qué evaluar enrelación con lo establecido en la norma.
8
Dominio de procedimientos.Propuesta de soluciones pertinentes y creativas a los problemas.Adopción de estrategias adecuadas frente a incidentes críticos.Aplicación de criterios.
Reglas, juicios técnicos y éticos que orientan la acción
Calidad y cantidad del producto
logrado
Criterios de Desempeño
Evidencias de Desempeño
Evidencias de Producto
Evidencias de
Conocimiento
Conocimientos que fundamentan la práctica.Condiciones que deben
cumplirse para asegurar, calidad, seguridad, productividad, etc.
Finalidad o sentido de la actividad que
realiza.
9
Conocimientos que fundamentan la práctica.Condiciones que deben
cumplirse para asegurar, calidad, seguridad, productividad, etc.
Finalidad o sentido de la actividad que
realiza.
Criterios para seleccionar evidenciasEn el proceso de selección de evidencias el/ laevaluador/a pondrá en juego una serie de criterios, entrelos que podemos mencionar los de frecuencia, complejidad,costos y consecuencias.
A.Frecuencia
Hace referencia a la periodicidad de las acciones; eneste sentido resulta conveniente considerar:
Factores rutinarios cuyo desconocimientoimposibilitan el accionar
Factores excepcionales que suceden muyesporádicamente, pero cuya resolución esfundamental debido a la gravedad de lasconsecuencias que acarrean en términos de:
Seguridad: personal, de equipos y del medio ambiente,
Calidad del proceso y del producto terminado,
Eficiencia productiva.
B.Complejidad
Hace referencia a acciones que involucran decisiones dediversa magnitud y dificultad al considerar el conjuntode variables dependientes que intervienen en unasituación determinada. Esto obliga a establecerprioridades, definir urgencias, establecer criteriostécnicos y gestionales, etc.; ya que el conjunto dedimensiones torna crítica su evaluación.
C.Costos
Se relaciona con la necesidad de considerar laresponsabilidad, que involucra el trabajo del rol, en elmanejo de insumos, instrumental o tecnología de elevadovalor o bien ciertas decisiones que tienen consecuenciasen términos de desperdicios, pérdida de tiemposproductivos, rechazos y necesidad de rehacer trabajo.
10
D. Consecuencias
Hace referencia a la necesidad de tener en cuenta elimpacto que generan ciertas acciones o su omisión entérminos de resultados no esperados. Estos resultadospueden incidir en términos de calidad y/o costos en eldesempeño del trabajo propio y/o en el de terceros porsu implicancia en términos de pérdidas de insumos o detiempos productivos.
La selección de técnicas para recolectar
evidencias
Una vez que se ha definido el qué evaluar resulta necesarioreflexionar sobre qué tipo de situación y técnicasresultan más adecuadas para evaluar aquello que hemosseleccionado.
Por ejemplo, los procesos se pueden observar de maneradirecta en ambientes reales de trabajo, lo mismo sucede conla calidad de un producto o la claridad y precisión en lacomunicación. Pero, para saber si el/la postulante actúacon criterio profesional será necesario no sólo observar sudesempeño en distintas situaciones, sino también formularpreguntas vinculadas con la práctica reflexiva, plantear
11
Determinar qué evaluar buscaidentificar y seleccionar aquelloscomponentes descriptos en los elementosde competencia, en términos de: “Una persona que posea estos criterios,que demuestre estos desempeños, queresuelva estos problemas de acuerdo conlos parámetros esperados por elcontexto socio-productivo, que obtenga
problemas o realizar una entrevista, entre otrasalternativas.
Asimismo, si hemos decidido que es importante analizar laforma en que el o la postulante resuelve un determinadotipo de incidente y el mismo no se produce durante eldesarrollo habitual del proceso de trabajo, entonces, estasituación debería ser provocada. En este caso, se deberáreproducir la situación esperada en un ambiente controlado(como un centro evaluador) o bien llevarle al postulantemateriales que le permitan hacer presunciones sobre lascausas del defecto, las posibilidades de corrección, etc.
Sintéticamente, para contar con información válida ysignificativa que permita determinar si un/a trabajador/aes o no competente, se deben contemplar los siguientesaspectos:
definir qué cuestiones críticas deben ser evaluadas
considerar en qué condiciones es posible hacerlo
combinar distintas técnicas en la recolección de evidencias
12
En tal sentido, las alternativas son:
Observación directa del/ de la postulante enambiente real de trabajo
• Observación de situaciones organizadas alefecto de la evaluación (Simulaciones,Planteo y resolución de problemas,incidentes, análisis de casos, ensayos,prácticas de laboratorio, etc.)
Análisis de productos o resultados. Análisis o elaboración de documentación. Autoinforme.
1. Observación directa del/ de la postulante enambiente real de trabajo
La observación del desempeño laboral de la persona en suambiente real permite recolectar en forma integradaevidencias de distinto tipo que se presentan normalmentecomo resultado del trabajo. En esta modalidad, el diseño deinstrumentos suele acompañar las etapas del procesoproductivo, situación que facilita la recolección deevidencias.
Sin embargo, hay que diferenciar la etapa de registro deevidencias de la fase de emisión de juicio de valor sobrelas mismas.
¿Por qué? Porque cuando se emite un juicio de valorsobre las evidencias éste se basa en la integración de lasmismas, y su vinculación con la unidad/es de competencia,que son nuestro parámetro de certificación.
Generalmente se suele observar irregularmente, unas vecessí y otras no; sin objetivos delimitados de antemano (seobserva lo que más llama la atención) y sin registrar loobservado, entre otras cuestiones.
Por ello se hace necesaria una definición clara y precisadel propósito de la observación y una delimitación de losdatos a recolectar en cuanto a:
13
qué es lo que se va a observar qué aspectos se van a ver detalladamente qué o cuáles de un modo general o global.
Asimismo, requiere un desarrollo sistemático y el registrode datos en los instrumentos o soportes convenientes.
14
2. Observación de situaciones organizadas al
efecto de la evaluación
En este caso incluimos todo tipo de situaciones que seanecesario diseñar expresamente para evaluar alguna/s de lascompetencias del/ de la postulante. Sin duda, a través deellas, podrán desarrollarse procesos de observación, peroacotados a las variables de una situación prevista y no aun proceso en ambiente real de trabajo. Entre ellas, podemos considerar:
2.1. Simulación de situaciones
Permiten aproximarse, en la medida de lo posible, a lascondiciones reales de modo que las soluciones generadaspermitan inferir cómo el/la postulante puede resolversituaciones que se presentan en la vida real.
Se utiliza en los casos en que no es posible laobservación directa, ya sea:
Por razones de costos, riesgos, seguridad obaja frecuencia de la actividad.
Porque resulta difícil o imposible observarvarias competencias en forma simultánea(comunicación, trabajo en equipo,solidaridad, seguridad, toma de decisiones,etc.)
Entre los medios utilizados para simular situaciones sepuede emplear software especializado, simuladores aescala, determinadas pruebas de habilidad o ejerciciosprácticos, proyectos especiales con base en el trabajoque se realiza y juego de roles.
Para este último caso reservamos el término simulaciónque distinguimos de simulador por estar referido amecanismos o dispositivos que representan fielmente larealidad (en cuanto a que presentan condicionessimilares a las normales), pero la complejidad de los
15
acontecimientos puede ser controlada a través dediferentes variables (riesgo, temperatura o situacionesatípicas, entre otras) que afectan el resultadoesperado.
2.2 Resolución de problemas
Un problema, en el marco de la evaluación decompetencias es una cuestión, real o hipotética,pertinente y significativa desde el punto de vista de lagestión y resolución de situaciones productivas. Pararesolverlo el/la postulante debe:
16
Analizar de manera integral y sistémica los elementos que abarca.
Identificar los principios, leyes, normas o incluso técnicas y metodologías apropiadas para el contexto productivo, que tiene que aplicar para su resolución.
Reconocer la causa y la forma de resolverlo o derivarlo a quien pueda resolverlo.
¿Qué criterios tener en cuenta para el diseño de losproblemas a plantear al/a postulante?
Entre otros, podemos señalar que los problemas aplantear deben ser:
Reales, no teóricos o abstractos. Típicos del proceso donde opera el/ la
postulante Tomados de los problemas que habitualmente
se presentan en las prácticas productivas.
En algunos casos, pueden tomarse como ejemplo problemasno habituales pero cuya respuesta o resolución estéprevista o codificada dentro de las prácticasproductivas
2.3. Resolución de incidentes
Si bien, tiene características similares a laresolución de problemas, se diferencia porque se centraen un hecho, real o recreado, que puntualmente puedeafectar el flujo de un proceso productivo afectando sugestión.
Trabajar con el postulante a partir de los “incidentesproductivos” permite:
Recoger evidencias de hechos inusuales opoco frecuentes que requieren respuestasprofesionales.
17
Evaluar la capacidad de gestionar yadministrar sus recursos para destrabar loshechos no previstos que se presentan en elproceso.
18
2.4.Estudio de casos
Se caracteriza porque describe exhaustivamente unasituación de la realidad o representa un estudio de uncaso paradigmático que sirve como ejemplo paradetectar:
Estrategias de abordaje y resolución Forma de participación de los diversos
actores
En el estudio de casos se presenta la forma en que seha resuelto una situación problemática, de modo depoder analizarla en todas sus dimensiones. Porejemplo, es importante analizar cómo el/la postulantedescribe las relaciones internas que tiene lasituación (tecnología-producto-insumos-desempeños-decisiones de gestión, etc.), cómo evalúa la manera enque se ha resuelto o con qué criterios elabora unapropuesta alternativa de resolución.
Esta técnica se usa para:
Analizar competencias de mejora continua Propuesta de innovaciones. Casos de problemas de seguridad y riesgos en
el trabajo Comercialización
2.5 Ensayos
Los ensayos permiten evaluar, entre otros aspectos,la calidad de un producto; si el resultado está dentrode los parámetros de tolerancia exigidos; la correcciónde un procedimiento o la forma de operar de unpostulante. Permiten efectuar la comprobación de una omás propiedades o características de un material oproducto, que sirve para formar un juicio sobre dichascaracterísticas o propiedades. Para ello, se diseña unproceso experimental que debe seguirse para obtenerdatos que indican la intensidad de la característicaensayada o valores proporcionales a ella.
19
Los ensayos pueden ser destructivos cuando elmaterial ensayado queda inutilizado para su usoposterior ( En general, todos los que apuntan a conocerlas resistencias mecánicas) o no destructivos cuando elmaterial conserva inalterados todos sus caracteres (Seincluyen los de ultrasonidos, las pruebas de carga sinrotura, etc).
3. Análisis de productos Esta técnica se utiliza cuando las evidencias de productoadquieren carácter concreto. En tal sentido se analizanobjetos reales, a saber: impresos, planos, informes,registros, diseño de procesos, maquetas, vehículosensamblados, maquinarias, equipos armados, estructuras dehormigón armado, entre otros. 4. Análisis de documentación
En algunos casos la documentación es un producto deltrabajo del postulante, en otros casos nos brindainformación sobre el aspirante y los resultados de sutrabajo.
En determinadas situaciones será necesario acudir alanálisis de documentos de distinto tipo tales como órdenesde trabajo, partes de producción, reclamos realizados,manuales específicos e informes, entre otros, para recogerevidencias que permitan complementar las observacionesrealizadas en ambientes reales o simulados.
Esta modalidad resulta valiosa para contar con evidenciasde determinados procesos y registros efectuados por el/ lapostulante a través de un lapso más abarcativo que eltiempo acotado al proceso de certificación. Esto resultaclave para la evaluación de algunos perfiles profesionales,tales como el de vendedor gráfico o el inspector decalidad.
20
En ciertos casos la evidencia de producto sólo puede serevaluada a partir de determinado lapso temporal. Por ej: Enla evaluación de un vendedor, los productos a analizar sonlas ventas realizadas durante el último ejercicio; en elcaso de un encuestador, las entrevistas entregadas.
5. Autoinforme
Esta técnica se centra en las informaciones que proporcionael postulante de un modo directo. Se utilizan para ello elcuestionario o la entrevista (la que se abordaráespecialmente) que permiten recoger información sobreactitudes, maneras de proceder, intereses, relacionesinterpersonales, opiniones, etc. que resultan difíciles oimposibles de observar o no suelen presentarse confrecuencia.
Generalmente, en los cuestionarios se suelen utilizarpreguntas pero a diferencia de las que se hacen para quese demuestre determinada capacidad, en estas el/lapostulante brinda información sobre si mismo.
¿Qué son los instrumentos de registro de lainformación?
Una vez seleccionadas las técnicas más adecuadas pararecoger evidencias en relación con los distintos aspectos aevaluar, se elaborarán los instrumentos considerados comoherramientas indispensables para recoger y documentar losaspectos a verificar y sus resultados. Estos tienen unadoble función:
Transparentan los criterios puestos en juego por elevaluador en el desempeño de su rol.
Sirven de soporte para el registro de lasevidencias y se constituirán en elementos críticosdel dossier de evidencias del postulante.
La evaluación basada en normas de competencia exige lapuesta en juego de dos requisitos fundamentales a tener en
21
cuenta en el diseño de instrumentos Estos son su validez ysu confiabilidad.
22
1. La validez
Un instrumento es considerado “válido” cuando sirve paraevaluar lo que se pretende, en nuestro caso, lascompetencias reconocidas por el sector. En otras palabras,cuando la información que permite obtener es coherente conlos criterios y evidencias de desempeño, producto y deconocimiento estipulados en la norma.
Para que los instrumentos sean válidos es fundamentalpreguntarse:
¿Qué es lo que se va a relevar? ¿Cuál es el modo más adecuado para
aproximarse al tipo de información buscada?
¿Cómo contribuir a lograr la validez?
Partir del análisis de la norma Definir el qué evaluar. Seleccionar las modalidades y diseñar los
instrumentos que resulten más adecuados pararecoger evidencias de distinto tipo.
Efectuar las adaptaciones que se considerennecesarias en función del contextoproductivo (tecnologías, productos, insumos,particularidades de la organización deltrabajo, etc.) en el que se realizará laevaluación.
( lo que sigue va sin puntito)
Lo expresado hace referencia a la validez desde unpunto de vista técnico, pero también debe considerarsela validez en un sentido amplio, ligada alreconocimiento social que debe tener todo proceso deevaluación cuando se basa en valores de equidad,autonomía e imparcialidad. Por este motivo, el diseñodel instrumento exige del evaluador/a la capacidad dereflexión crítica sobre sus propios valores ycreencias para evitar que los mismos se transformen enfactores discriminatorios al momento de la evaluación.
23
24
2. La confiabilidad
Un instrumento es confiable cuando:
Al ser aplicado por distintas personas para evaluaral/la mismo/a postulante se obtienen resultadossemejantes en situaciones similares.
Al ser utilizado por una persona para evaluar almismo/a postulante, en diversas oportunidades seobtienen resultados semejantes.
¿Cómo contribuir a lograr la confiabilidad?
Para ello, se recomienda:
Establecer referentes claros, a partir de la normapara unificar los criterios de evaluación.
Tener en cuenta que la información que se decidarecoger debe ser suficiente y representativa comoevidencia del logro (disminuir la incidencia delazar).
Explicitar indicadores y evitar formular preguntasque se entiendan de modo distinto.
Redactar claves de corrección para que diferentesevaluadores les otorguen el mismo significado yefectúen similares registros en el desarrollo deeste proceso.
Si bien los mencionados son requisitos fundamentales de losinstrumentos se pueden también señalar otros como larepresentatividad (la relevancia de los distintos aspectosconsiderados en detrimento de los menos significativos) yla objetividad (la independencia del juicio del evaluador).
En síntesis, el diseño de instrumentos de evaluación, quecumpla con los requisitos antes explicitados, posibilita:
25
Recoger información objetiva sobre evidencias dedistinto tipo, incluso en momentos diferentes.
Registrar y documentar el proceso.
26
¿Qué es necesario tener en cuenta para seleccionary diseñar los instrumentos?
En la selección de los instrumentos resulta fundamentalanalizar las decisiones sobre qué es lo que queremosevaluar, en qué circunstancias es posible hacerlo y cuálesson las técnicas y, consecuentemente, los instrumentos másadecuados para relevar información pertinente.
En este proceso, se recomienda:
1. Evitar diseñar instrumentos para cada una de lasdescripciones desagregadas en el elemento. A efectosde preservar una concepción integral de la competenciaes importante considerar el análisis de cada elementoen relación con la unidad de competencia a la quepertenece.
2. Analizar cada elemento de competencia y al hacerlo,identificar y seleccionar aquellos criterios,desempeños, resultados y conocimientos - en éldescriptos - que sean considerados críticos.
3. Considerar el/ los instrumento/s más adecuado pararegistrar evidencias sobre criterios, conocimientos,desempeños y resultados.
Por ejemplo:Las preguntas nos permiten comprender los principiosque ponen en juego los sujetos cuando trabajan o elmanejo apropiado de los conocimientos que fundamentansu accionar, etc., en tanto las listas de controlresultan más pertinentes para registrar evidenciassobre desempeños y resultados.
¿Qué instrumentos utilizar para registrar lasevidencias de distinto tipo?
De acuerdo a lo enunciado, la norma como descriptor abordacriterios, desempeños, productos y conocimientos esperadosde un sujeto competente. Cada una de estas evidencias nos
27
exige reflexionar, además de la modalidad más adecuada pararelevarlas, sobre la herramienta que resulte válida pararegistrar la información obtenida.
Para el caso más corriente como puede ser el desempeño o elproducto, las herramientas más adecuadas son las basadas enla observación, tales como:
Listas de control o cotejo Escalas de estimación
En tanto, que para registrar evidencias referidas aconocimientos puestos en acción, resultan más convenienteslas preguntas de distinto tipo.
En relación con el manejo de criterios pueden utilizarsecualquiera de los instrumentos mencionados, siempre querespondan al propósito y características específicas encada caso.
Algunas características de los diferentes
instrumentos
1. Lista de controlLa lista de control o cotejo consiste en una serie deindicadores (enunciados afirmativos o interrogativos sobrehechos, características o secuencia de acciones, entreotros) cuya presencia o ausencia se desea constatar.
El/la evaluador/a debe marcar con una cruz, en cada caso,si los indicadores o signos de evidencia están o nopresentes.
Se emplea con más frecuencia para:
aquellas tareas o procesos que puedenreducirse a acciones muy específicas,
evaluar características que necesariamentedebe reunir un determinado producto oresultado y
28
verificar la existencia o inexistencia dedeterminadas conductas prescriptas en normasde higiene o seguridad.
La lista posibilita registrar evidencias en ambientesreales de trabajo, en situaciones simuladas, en entrevistaso en el análisis de productos o documentación de distintotipo. En su elaboración se sugiere considerar listasindependientes en función del propósito.
Para evitar las interpretaciones personales, unaconsideración a tener en cuenta consiste en consignarúnicamente lo observado.
Para que este instrumento cumpla con su función esimportante que los indicadores que la componen:
consideren los aspectos fundamentales sean claramente observables sean suficientemente explícitos, para ello
es importante que su redacción sea directa yprecisa.
tengan el mismo nivel de especificidad posibiliten sólo distinciones dicotómicas
(si/no correcta/incorrecta).
29
Algunos ejemplos
Rol: Maquinista de impresión offset a pliegos
En el proceso de preparación de la impresora, entre otrosaspectos es necesario registrar en una lista de control lossiguientes:
El/la maquinista transmite a sus asistentes, de manera clara y precisa: SI NO
Las especificaciones de la orden de trabajo. Los recaudos a tomar sobre probables dificultades
que puedan presentarse.
Controla que los ayudantes efectúen las tareas preestablecidas, en cuanto a: SI NO
Correspondencia del papel (tipo y medida) en relación con lo especificado en la orden.
Verificación del estado de las planchas, descartandoaquellas que tengan defectos, golpes o ralladuras.
Verificación de tintas.
2. Escala de estimaciónLa escala consiste en una serie de categorías, ante cadauna de las cuales el/la evaluador/a debe indicar el gradoen que se encuentre presente determinada característica ola frecuencia con que ocurre determinada acción.
Es similar a la lista en cuanto a que tiene aspectosbásicos como referencia para orientar la observación ydifiere de ella en cuanto a que permite tildar el grado ola medida en que se manifiesta cada característica aobservar en el/la postulante.
Puede adoptar diferentes formas: escala continua (numérica)y escala discreta (categorías cuya distancia no esmatemática, sino aproximativa, por ejemplo: siempre; la mayoríade las veces, algunas veces y nunca)
En todos los casos es recomendable la descripción paraevitar asignar significados personales.
30
La mayor dificultad reside en hacer descripciones biendelimitadas y muy representativas de las conductas realesdel sujeto (o características del objeto).
Para su elaboración se sugiere:
Seleccionar las características más representativasde lo que va a ser calificado.
Incluir únicamente aquello que sea claramenteobservable.
Considerar que la cantidad de enunciados a incluiren la escala estará relacionada con el número deaspectos que se hayan podido aislar.
Describir de modo unívoco cada uno. Considerar que la cantidad de categorías podrán
oscilar entre 4 y 7.
Resulta necesario considerar que debe tildarse el rasgoobservado o la capacidad en si, sin consideraciones haciala persona que lo demuestra para evitar los errores degeneralización; al asignar un nivel (alto o bajo)
31
Por ejemplo para evaluar el manejo de los fundamentos en la práctica reflexiva, podemos elaborar una escala con las siguientes categorías; Muy Satisfactorio, Satisfactorio, Poco Satisfactorio e Insatisfactorio, en la que se considerará:
Muy Satisfactorio: Fundamenta de manera completa e integral el aspecto en cuestión
Satisfactorio: Fundamenta de manera suficiente, pero no exhaustiva.
Poco Satisfactorio: Expresa enunciados genéricos, difusos y/ o incompletos.
Insatisfactorio: No aporta fundamentos.
indiscriminadamente se generaliza la reacción ante el/lapostulante y todo lo que hace (efecto de halo).
Asimismo, se recomienda tener en cuenta que puedenproducirse errores de generosidad cuando hay tendencia amarcar hacia el lado que tiene los valores óptimos.
32
Rol: Vendedor Gráfico Algunos aspectos considerados en la consulta que se realizaal responsable de producción
En la largada de la impresión
Siempre(todaslas
veces, el100%)
La mayoríade lasveces
( más del50%)
Algunasveces(menosdel 50%)
Nunca
¿ Los clientes están avisados dela largada de la máquina impresora para que concurran a conformar el pliego?
¿ Se ocasionan atrasos en producción por esta causa?
B.1.3. ¿El /la vendedor /a está presente en dicha largada ?
3.- Cuestionario Consiste en una serie de preguntas o itemes a partir de lascuales el/la postulante proporciona información de mododirecto sobre sí mismo. Permiten recoger informaciónsobre: actitudes, maneras de proceder, intereses,relaciones interpersonales, criterios, opiniones, juiciosde valor, etc.
Sus limitaciones están centradas en una inadecuadaconstrucción de las preguntas que pueden derivar enrespuestas en que se expresa lo que debiera ser y no lo queauténticamente piensa o realiza la persona. Por ejemplo,“¿Ud. respeta las normas de seguridad?”
Asimismo, deben realizarse en un clima de franqueza yhonestidad por ambas partes para poder confiar en susresultados y requieren complementarse con informaciónproveniente de otros instrumentos.
Resulta necesario considerar que la validez no se veaafectada por el “sesgo de expectativa” (el entrevistado
33
trata de comportarse y responder a lo que supone espera deél el entrevistador).
34
4.- Preguntas de distinto tipoEn las preguntas, realizadas tanto en forma oral comoescrita, la persona debe demostrar en sus respuestas, en elmomento en que se solicita, el manejo o dominio delconocimiento en cuestión. En general, se puede señalar queresultan adecuadas para recoger evidencias deconocimientos.
Las preguntas tienen características distintas en relacióncon las evidencias que se quieren recoger. En todos loscasos se requiere que sean:
Claras y orientadoras, evitando la ambigüedad y lostérminos desconocidos.
Precisas en cuanto al tipo de respuesta que requieren:analizar, fundamentar, explicar, presentar ejemplos,elaborar un esquema, etc.
Planteadas en relación con alguna situación, peroindependientes entre sí.
Redactadas correctamente y con sus respectivas clavesde corrección. Esto resulta fundamental para quedistintos evaluadores les otorguen el mismosignificado.
Las preguntas, de acuerdo con su estructura, pueden ser debase:
Semiestructurada: el/la postulante tiene la posibilidadde componer o elaborar su respuesta ante una pregunta que tiene un propósito definido.
35
Algunos ejemplos: ¿Explique por qué es necesario ajustar la
viscosidad de las tintas antes de colocarlas en máquina?
¿Por qué necesitamos controlar los espesores de cama y plancha?
¿Qué precauciones hay que tomar para que no haya retinte?
Estructurada u objetiva: admite una única respuestaposible, que puede expresarse en una palabra, una cifra,o puede seleccionarse entre alternativas dadas. Podemosmencionar distintos tipos:
de selección u opción múltiple (faltaexplicación abrí texto)
de respuestas por pares (Correspondencia);(falta explicación
de respuestas breves y de completamiento; de alternativas constantes (Verdadero-Falso); de ordenamiento y multiítem de base común ( apartir de una orden de producción o de trabajo,un plano, gráfico o esquema se organizan variosítemes).
36
Ejemplo de pregunta estructuradas
Si observa que los primeros pliegos (los de arriba de la plancha) presentan roturas, ¿cuál cree que es la causa? (marque con una X):
( ) Listón de corte gastado( ) Cuchilla mellada( ) Cuchilla desafilada.( ) Presión incorrecta del pisón
En los espacios en blanco que siguen a los números coloque la letra de la columna de la derecha que identifique el instrumento que se usa habitualmente para llevar a cabo la medición requerida. Cada palabra que designa un instrumento puede ser utilizada una vez, más de una vez o ninguna vez.
Medición de Instrumento1 ( ) Valores de pHA. Conductímetro2 ( ) TemperaturaB. Alcoholímetro3 ( ) Porcentaje de alcohol isopropílicoC. Manómetro4
( ) ConductividadD. Tensiómetro E. Tiras reactivas F.Termómetro sumergible
Las preguntas que hacemos y las distintas operaciones delpensamiento se relacionan entre sí. Por lo tanto, alformular la pregunta resulta es importante tener en claroqué esperamos evaluar a partir de la respuesta.
Hay una relación entre el tipo de preguntas que hacemos ylas distintas operaciones del pensamiento. Por lo tanto, alformular la pregunta es importante tener en claro quéesperamos evaluar a partir de la respuesta. En nuestrocaso, el tipo de respuesta nos tiene que brindarinformación sobre conocimientos que fundamentan la prácticao sobre los criterios aplicados.
37
Ver cómo queda mejor
Por ejemplo, generalmente, en las preguntas que se suelenrealizar para evaluar conocimientos se solicita que lapersona efectúe: Se solicita que la persona:
Describa: Enuncie de manera ordenada lascaracterísticas de un objeto o idea.
Descripciones: Enunciar de manera ordenadalas características de un objeto o idea.
Compare: Señale las semejanzas y diferenciasentre dos o más objetos/ideas en función deun criterio.
Comparaciones: Señalar las semejanzas ydiferencias entre dos o más objetos/ideas enfunción de un criterio.
Defina: Enuncie con precisión el significadode un término, las características esencialesde un objeto, hecho o situación.
Definiciones: Enunciar con precisión elsignificado de un término, las característicasesenciales de un objeto, hecho o situación.
Resuma: Enuncie…
Resúmenes: Enunciar brevemente un temarespetando el orden, la idea y el lenguaje deloriginal del cual se toma.
Análisis: Identificar componentesesenciales, describiéndolos en susparticularidades e interrelaciones
Otros tipos de preguntas pueden resultar más convenientespara evaluar criterios. En estas se solicita que la personaefectúe:
38
Relaciones: Establecer las conexiones lógicas,causales o cronológicas entre hechos eideas buscando coherencia o soluciones.
Inferencias: Extraer conclusión/es (“ irmás allá”) a partir de la interpretación.
Interpretación: Identificar los aspectosfundamentales y comprender el significado.
Juicios críticos: Apoyar o rechazar unainferencia, con el respaldo de argumentos.
Síntesis: enunciar brevemente lo esencial deun tema organizándolo de un modo personal.
Identificación de supuestos: descubrir porinferencia algo que funciona como fundamento ycuya verdad no ha sido probada.
Clasificaciones: distribuir objetos o ideas enclases o conjuntos según un criterio declasificación.
39
A modo de síntesis
Podemos señalar que una vez definidos los aspectoscríticos a evaluar en función de la norma hay quereflexionar y tomar decisiones sobre cómo se recogerá lainformación que servirá de base para realizar unaevaluación integrada.
En este sentido hemos expresado que es necesario:
Tener en cuenta el criterio de validez para seleccionarlas técnicas e instrumentos que resulten más idóneos, entanto permitan obtener información sobre criterios yevidencias en las distintas situaciones.
Considerar su adaptación al contexto en el que serealizará la evaluación.
Contemplar el requisito de confiabilidad que hacereferencia a la constancia o cierta estabilidad que debedarse en los resultados cuando se aplica el mismoinstrumento en diversas oportunidades.
Combinar distintas técnicas en la recolección deevidencias para contar con información válida ysignificativa que permita determinar si un/atrabajador/a es o no competente. En tal sentido, lasalternativas son:
Observación directa del/ de la postulante enambiente real de trabajo
Observación de situaciones organizadas al efecto(Simulaciones, Planteo y resolución de problemas,incidentes, análisis de casos, prácticas delaboratorio, ensayos, etc.)
Análisis de productos o resultados. Análisis o elaboración de documentación. Autoinforme.
Seleccionar los instrumentos que resulten más idóneoscomo herramientas indispensables para recoger ydocumentar los aspectos a verificar y sus resultados. En
40
tal sentido, pueden utilizarse listas de control,escalas de estimación, distintos tipos de preguntas ycuestionarios, entre otros.
Elaborar cada tipo de instrumento considerando losrequisitos básicos para su construcción.
Analizar la coherencia del planteo realizado antes deavanzar en las etapas siguientes y requerir, en lamedida de lo posible, la lectura y sugerencias de otra/spersonas que no ha/n participado en el proceso que se hadescripto en relación con un rol determinado.
Bibliografía
Bertoni y otras (1995 ). Evaluación. Nuevos significados para una práctica compleja. Kapelusz: Buenos Aires.
Camilloni y otras (1998) “La evaluación de los aprendizajesen el debate didáctico contemporáneo, Paidós.
House, E.R ( 1994). Evaluación, ética y poder. Madrid:Morata.
De Ketele, J. M.y Roegiers X.(1995), Metodología para larecogida de información, La Muralla, Madrid.
McDonald, R; Boud D; Francis J y Gonczi (1995). Nuevasperspectivas sobre la evaluación. UNESCO. París. ( BoletínCINTERFOR Nº149.2000).
Perrenoud, Philippe ( 1999). Avaliacao Da Excelencia aRegulacao das Aprendizagens. Entre duas lógicas. Artmed.Porto Alegre
SENA (Servicio Nacional de Aprendizaje) (2003). Sistema deevaluación y certificación de competencias laborales.Metodología para evaluar y certificar competenciaslaborales. Dirección Sistema Nacional de FormaciónProfesional, Bogotá.
41
VARGAS, F.; CASANOVA, F.; MONTANARO, L (2001): El enfoquede competencia laboral: Manual de Formación. Módulo 1.Unidad 4.CINTERFOR. Montevideo.
VARGAS, F. (2003) La evaluación basada en normas decompetencias. CINTERFOR
AGREGAR LO QUE FALTA
42
