Congreso Internacional de Evaluación en Educación

IISEU-UNAM. U. Autónoma de TlaxcalaTlaxcala, Sept. 25-27, 2014

“CUATRO OPCIONES DE MEDICIÓN DE LA CALIDAD

DE LA EDUCACIÓN SUPERIOR”

VICTOR MANUEL GOMEZ CAMPO

Area de Sociología de la EducaciónDepartamento de Sociología

Universidad Nacional de Colombia

Evaluación y Poder- Toda evaluación es una acción política, es una relación de poder.- Desde el Estado, organismos internacionales, empresa privadaSe trata de medir/evaluar la racionalidad y funcionalidad entreFINES y MEDIOS.- El EFECTO de politicas, programas, inversiones, y su EFICIENCIA, costo/beneficio, costo relativo, costo de oportunidad.

- En EDUCACIÓN: - Logros de aprendizaje en X, Y, Z áreas, en determinadas poblaciones

(edad, sexo, etnia, grado escolar, origen socioeconómico).- Evaluación de docentes, de inversiones, de instituciones, de programas, de determinados insumos, tecnologías, etc.

- Ejemplo del gran poder simbólico y político de la evaluación: PISA

• Matemáticas, ciencias y lenguaje: áreas comunes de evaluación

• Importantes pero insuficientes. Son limitados.• Los objetivos de la educación son más amplios y ambiciosos:

- Formación para la ciudadanía y la democracia- Formación científica y tecnológica- Filosofía, artes, música, literatura, teatro: humanidades

- Formación de pensamiento complejo, abstracción, conceptualización, argumentación: análisis simbólico

- Todas éstas pueden ser medidas y evaluadas pero requieren metodologías apropiadas.

- A mayor creatividad y complejidad de aprendizajes y competencias, menor la validez de pruebas estandarizadas, de ‘papel y lápiz’, de opción múltiple, y en contexto artificial.

- Y mayor la necesidad de alternativas metodológicas basadas en la demostración y ‘puesta en escena’ de dichos aprendizajes.

• Las pruebas estandarizadas, de opción múltiple, son útiles para medir lo básico: la calidad básica.

• Pero NO los aprendizajes complejos, la alta calidad.• Esa es su función social y sirven para medir las diferencias –o desigualdades- sociales, étnicas, etc. en la calidad de la educación.

• Son pruebas necesarias pero no suficientes. Toda sociedad debe aspirar a niveles cada vez más altos de calidad a TODOS.

• Este es un requisito básico de construcción de sociedad democrática

• Efectos o consecuencias sociales: no previstas o perversas:• Reducir y limitar el apendizaje a lo que técnicamente se puede medir (tiranía de la técnica);

• Subvaloración, relegación, invisibilización, de saberes no objeto de pruebas de evaluación: artes, filosofía, C y T, humanidades

• Puntajes y ‘rankings’ entre instituciones, programas y estudiantes: estatus social, imagen social, mercadeo, distinción,

• Lo que conduce al ‘training’, la preparación para las pruebas

• Efectos del ‘training’: puntaje ‘inflado’, poca confiabilidad, mayores puntajes a quienes pueden pagar las preparaciones o en colegios que las ofrecen: mayor desigualdad social de acceso a oportunidades educativas. Sobre todo en situaciones de alta selectividad y competencia.

• Ejemplos: en pruebas de salida de la secundaria: planteles con mayores puntajes debido a preparaciones intensas (efecto entrenamiento). En exámenes de admisión a universidades con alta selectividad (7%, 10%, 15% tasa de absorción), un alto % de estudiantes con alto puntaje han tomado cursos de preparación para ese examen especifico.

• Implicaciones de desigualdad social en acceso a universidades públicas. Y artificialidad del puntaje.

• Cómo se construye (social, política e institucionalmente) el ‘campo’Intelectual de la ‘medición y evaluación’?

Calidad de la Educación?Concepto polisémico, complejo.

No hay consenso.

Diversas definiciones y mediciones.- Con diversas - y aun contradictorias - implicaciones en la política educativa, en criterios y metodologías de medición y evaluación.- La medición de aprendizajes complejos?- ¿creatividad? En C y T, artes, ingeniería, sociales, filosofía, literatura..- O estandarización, homogeneización, del aprendizaje?- Limitaciones de metodologías de medición?

Temas comunes de medición y evaluación en educación: - logros en los estudiantes, mediante pruebas estandarizadas de índole censal o muestral: de instituciones públicas y privadas, de edades, niveles, áreas del saber (matemáticas, ciencias, lenguaje, etc..), género, etnia, nivel socioeconómico, o durante el proceso educativo (grados 5, 7, 9) o al final de la secundaria, o al final del nivel superior, en procesos de acreditación y ‘rankings’ internacionales. - la participación en pruebas internacionales PISA, TIMSS, PIRLS, entre otras, en las que un país se somete a mirarse en el espejo de otros (o neocolonialismo educativo). - el desempeño de docentes, - la calidad de las instituciones de formación de docentes, - políticas y programas de igualdad social de oportunidades educativas, de igualdad de género y etnia, de acciones afirmativas.

Necesidad de estudio de las condiciones institucionales y académicas de desarrollo del ‘campo intelectual de la medición y evaluación’: - las relaciones con el Estado: autonomía? dependencia? - la autonomía de los grupos o instituciones laborando en este ‘campo’ y el grado de desarrollo de un ‘mercado’ (público y privado) o contexto de competencia y emulación entre diversas opciones conceptuales y metodológicas.

De estas condiciones de desarrollo de este ‘campo’ intelectual dependerán la innovación y diversidad de opciones de definición, medición y evaluación de la educación.

“En una reciente nota periodística se preguntaba por qué en Francia se insistía tanto en que los estudiantes dominaran conceptos y nociones de Filosofía (NYT. SCHOFIELD, H. 2013). Algunos de éstos: felicidad, bondad, ley, el mal, materia y espíritu, existencia y tiempo, arte, conciencia, el otro, la sociedad, dios, razón, el deber. Nociones complejas y abstractas. Más allá de la importancia de estos conceptos en la formación del ciudadano consciente, ilustrado y analítico, su comprensión es un poderoso medio pedagógico de ‘enseñar a pensar’, de formación de las competencias intelectuales de mayor nivel: conceptualización, abstracción, capacidad analítica y sintética. Las que deben constituir el objetivo principal de la educación, para todos los estudiantes, independientemente de sus características desiguales y diferentes de origen social y cultural. La formación de estas competencias intelectuales generales debe conformar el estándard y el modelo de una educación de calidad para todos, lo que es un objetivo central de una sociedad democrática.

- Dos problemas en la evaluación de la educación superior:

A) la evaluación de la calidad de instituciones y programas muy diferentes entre sí: universidades de investigación, de docencia, instituciones técnicas, tecnológicas..- Diversidad y heterogeneidad: respectivos criterios, procedimientos e indicadores de evaluación? B) Grandes diferencias existentes entre la evaluación de las instituciones y la del aprendizaje logrado en los estudiantes, o de la calidad de la educación que efectivamente recibe el estudiante.

- Diferenciación necesaria pues la mayoría de los rankings internacionales y sistemas de acreditación privilegian indicadores de productividad e investigación, y otras dimensiones institucionales, siendo muy escasas las mediciones directas de la calidad de la educación que recibe el estudiante.-

-La mayoría de indicadores de calidad de la educación superior, son indirectos y derivados de indicadores de investigación o de nivel de formación del cuerpo docente.

- O son puntajes de exámenes (pruebas) artificiales de ‘papel y lápiz’ que por sus limitaciones metodológicas intrínsecas no pueden medir las competencias intelectuales y profesionales adquiridas.

- Necesidad de avanzar en criterios y procedimientos alternativos de medición y evaluación del aprendizaje logrado por los estudiantes o egresados del nivel superior. Logro de las competencias profesionales que se espera formar en la educación superior.

¿Criterios, indicadores e instrumentos de medición y evaluación de la calidad de la educación superior?

- ¿Se mide ésta por la calidad de los egresados? - ¿Por la calidad de la relación pedagógica?

- ¿Por el grado de homogeneización de condiciones de funcionamiento de las instituciones, según los criterios comunes de sistemas de acreditación? - ¿Por la productividad de los docentes?

- ¿Por indicadores de investigación? - ¿Por el lugar alcanzado en los ‘rankings’ internacionales?-Para algunos, ‘calidad’ significa el cumplimiento de

determinados indicadores o parámetros comunes de funcionamiento de instituciones o programas. Homogeneización de condiciones académicas. Criterio común en algunos sistemas de acreditación.- Dificultades para la evaluación positiva de innovaciones curriculares y pedagógicas.- Ejemplo: Olin College of Engineering no sería ‘acreditado’. - Para otros el concepto de calidad hace referencia a logros y resultados en estudiantes, egresados y en la sociedad, independientemente de sus opciones curriculares y pedagógicas. Posibles experiencias innovadoras o heterodoxas.

En educación superior: 4 opciones:A. Indicadores de productividad de docentes, de investigación, comúnmente utilizados en los ‘rankings’ internacionales de instituciones de educación superior;

B. Grado de cumplimiento de determinadas condiciones de funcionamiento, dotación, infraestructura y perfil del cuerpo docente, que conforman los criterios de acreditación utilizados en muchos países;

C. Pruebas de conocimientos profesionales o competencias generales, al final de los estudios;

D. Mediciones de logros demostrables en diversas áreas del conocimiento: ciencia y tecnología, ingenierías, artes, humanidades, sociales, etc.

A.Indicadores de productividad de docentes: de investigación, publicaciones, citas bibliográficas, publicación de revistas y libros, porcentaje de doctorados en el cuerpo docente.

- Los que demuestran y miden la productividad de los profesores.

Indicadores que forman ‘rankings’, jerarquizaciones, entre universidades y áreas del conocimiento.

- Necesidad de intenso recurso a la ‘cienciometría’, a sistemas internacionales de referencias bibliográficas y de autores.

- Los principales actores o interesados en este modelo de calidad de la educación superior son los profesores y directivos de la institución.

- Los estudiantes no desempeñan ningún papel, se los considera neutros o son invisibles.- El interés particular de los profesores se deriva de los sistemas y criterios de estímulo, reconocimiento y remuneración a la productividad. - Su nivel de remuneración y su estatus académico dependen de su productividad.- La mayoría aspira a publicaciones de categoría A y B, siendo subvaloradas publicaciones que pueden tener alta pertinencia social y valor político, pero que no son reconocidas ni jerarquizadas con valor académico. - Un importante efecto: individualización del proyecto académico del profesor pues su remuneración y promoción en el escalafón dependen de su puntaje individual de productividad.

- Otro efecto de gran importancia sobre la calidad de la educación superior es la invisibilización y marginalización de la función docente, la que no es reconocida ni valorada en los puntajes de productividad.- La función docente es neutra en la remuneración y en el estatus académico.- En las universidades públicas colombianas, “da exactamente lo mismo ser buen docente, mal docente o pésimo docente”. - Para las directivas, es importante que su institución

esté bien ubicada en los rankings internacionales, fuente de estatus y distinción institucional.

- Se privilegia la productividad del profesor sobre su desempeño docente.

- Este no es reconocido ni valorado y no forma parte de los criterios de jerarquización internacional.

- Este modelo de calidad de la educación superior tiene como referente ideal los ejemplos internacionales de ‘universidad de investigación’ (research university).

- En estas universidades son mucho más importantes los postgrados que el pregrado, el que generalmente tiene problemas de baja calidad pues la docencia en este nivel tiende a estar en manos de ‘asistentes de docencia’ (teaching assistants), estudiantes de postgrados o docentes temporales o de cátedra. Los profesores-investigadores, en doctorados, son relevados de la docencia en pregrado.

cB. Grado de cumplimiento de determinadas condiciones homogéneas de funcionamiento y dotación: requisitos curriculares, de personal docente, infraestructura, dotación de bibliotecas y laboratorios o talleres, etc. - En muchos países la acreditación de ‘calidad’ se basa en la demostración y verificación del logro de estas condiciones homogéneas. - Este conjunto de condiciones de funcionamiento es definido y normalizado como el estándard ideal de calidad, el ‘deber ser’, al que todas las instituciones deben acercarse.

- Una importante limitación metodológica es que no se mide ni evalúa la calidad de la educación que reciben los estudiantes, ni la eficacia en el aprendizaje.

- Se utilizan indicadores ‘indirectos’ que se suponen estar positivamente asociados a la calidad de la educación. Pero estas asociaciones ‘indirectas’ no son válidas, como ha sido señalado en la literatura especializada internacional.

- Ni el número o valor de las investigaciones, ni la productividad de los docentes, ni su perfil de formación, ni el número de premios Nobel en la institución, está positivamente relacionados con la calidad de la educación que reciben los estudiantes de pregrado.

- Numerosas universidades de investigación (research universities) presentan grandes carencias en la calidad de la educación de pregrado pues las prioridades de estas universidades residen en la función de investigación y en los doctorados.

C. Pruebas de conocimientos/competencias según carreras o áreas de formación, al final de la carrera o últimos semestres

- En algunos países se han implementado exámenes de salida en la educación superior, algunos obligatorios para todos los graduados de este nivel. - Su diseño y aplicación responden a intereses gubernamentales de evaluar la calidad de los egresados del nivel superior en función del costo/beneficio de financiación pública de determinadas instituciones y programas. - Otros resultados buscados son la comparación de calidad entre instituciones y la identificación del respectivo ‘valor agregado’ de cada institución según las condiciones de origen de sus estudiantes. - Las instituciones y programas, al verse reflejadas en el espejo comparativo de otras similares, deberían suscitar dinámicas de emulación y mejoramiento. El SINAES, en Brasil; ‘Saber Pro’, en Colombia; el EGEL de CENEVAL en México; y el proyecto AHELO ((Assessment of Higher Education Learning Outcomes) de la OECD, entre otros.

La prueba SINAES, de Brasil, no es una sola prueba ni solo evalúa al estudiante individual sino diversos factores contextuales, institucionales, de calidad: desempeño del estudiante (ENAES: Exame Nacional de Desempenho de Estudantes); enseñanza, investigación, extensión, responsabilidad social, gestión institucional, cuerpo docente, infraestructura y dotación.. Información de gran utilidad al estudiante sobre la calidad de las diversas instituciones y programas. Esto conforma un sistema complejo de evaluación de la educación superior tanto de las instituciones y programas como del desempeño del estudiante, sistema coordinado por la Comisión Nacional de Evaluación de la Educación Superior (CONAES).

La propuesta de AHELO (Assessment of Higher Education Learning Outcomes), de la OECD se orienta a evaluar los resultados de aprendizaje de los estudiantes y le otorga alta importancia a la comprensión del proceso de enseñanza-aprendizaje. Información de gran importancia para el mejoramiento de las instituciones. Conviene resaltar lo que AHELO no pretende ser:

- no ser una medida del desempeño de las instituciones de educación superior (como es la función de los rankings internacionales);

- no desempeñar el papel de ranking de instituciones;

- no ser una medida del desempeño de países en educación superior (como ha sido la función de PISA en la educación básica y secundaria);

- no ser medición de la calidad de docentes ni de la docencia;

- no ser medición de estudiantes individuales (como es la función de muchas pruebas estandarizadas y de admisiones a las

universidades);

- A medida que el objeto de aprendizaje se torna más complejo y multidimensional, y requiere mayores niveles cognitivos y de organización, investigación, conceptualización y relacionamiento entre fenómenos, en esa medida el término ‘competencia’ pierde rápidamente validez y utilidad en el ámbito educativo, pues en el ejercicio, demostración o puesta en escena de dichas competencias intervienen tanto insumos y factores propios de determinada experiencia educativa (contenidos, pedagogía..) como aquellos derivados del capital cultural, la herencia y el medio familiar y social del estudiante.

- En muchos casos, siendo mayor la influencia de factores extraescolares (capital cultural heredado y adquirido..) que los propiamente escolares.

- A mayor complejidad en el objeto de aprendizaje, mayor dificultad para identificar y definir la competencia, ya que ella se convierte en un constructo cada vez más general, más complejo y más conformado por un conjunto amplio y diverso de conocimientos, saberes, aptitudes, intereses y disposiciones, cuyo entramado forma y conforma la competencia e idoneidad profesional e intelectual del sujeto.

- Competencia que, además, no es medible, evaluable ni verificable a través de pruebas artificiales de ‘papel y lápiz’, y aplicadas a estudiantes individuales, aislados del contexto social e interactivo propio del desempeño profesional o en la vida cotidiana, que es el escenario en el que se demuestra, se pone en escena, la competencia.

- La competencia en el desempeño de determinados roles profesionales depende, en gran medida, de requisitos intrínsecos a cada rol y de atributos de la personalidad, como la inteligencia emocional y social, la capacidad de liderazgo, la empatía.., y otras dimensiones subjetivas, en cuya formación es tan importante la influencia familiar y del grupo social como la calidad de la experiencia educativa.

- El sistema educativo no requiere procesos de homogeneización ni estandarización de prácticas pedagógicas sino dinámicas de promoción y estímulo a la creatividad en todas las áreas curriculares.

- Creatividad que es la expresión real de la competencia adquirida.- Y esta competencia demostrada, puesta en escena, se evalúa, se mide, se premia, se distingue.

- No es que haya evaluación por competencias sino evaluación y distinción de competencias demostradas, las que son complejas, interdisciplinarias y colectivas, no individuales ni mono-disciplinarias ni medidas en contextos artificiales como las pruebas de papel y lápiz, que caracterizan –por su pobreza conceptual y metodológica- el campo intelectual de la medición y evaluación.

Surgen importantes problemas y limitaciones:

- El carácter artificial de las pruebas de competencias generales, a través del formato

de ‘papel y lápiz’ y de opción múltiple, en contexto totalmente separado del laboral, en el que se prueban y ponen en escena las competencias generales.

- Evaluación limitada a puntajes de estudiantes, sin referencia alguna al contexto de calidad de las diversas instituciones y programas. En contraposición a las experiencias de programa SINAES de Brasil y de la iniciativa de AHELO, ya mencionadas.

- Las limitaciones técnicas del formato solo permiten medir niveles básicos de estas competencias generales, excluyendo niveles de mayor complejidad.- las competencias intelectuales generales dependen tanto del nivel de capital cultural de entrada del estudiante como del efecto, o valor agregado, de la institución educativa.

Las instituciones privadas de élite, y las públicas de alta selectividad, reciben estudiantes con alto grado de capital cultural, por tanto con alto desarrollo de sus competencias intelectuales generales, - de tal manera que no es posible medir el efecto de la calidad de la educación superior según tipos de instituciones y programas.

- Una importante tarea pendiente es medir el ’valor agregado’ de la institución en los puntajes finales de estudiantes de bajo nivel de capital cultural.- Indicador de la ‘calidad social’ de determinadas instituciones públicas que hacen la diferencia en términos de igualdad social de educación de calidad y de movilidad social. 

D. Mediciones de logros demostrables en Ciencia y Tecnología: patentes, prototipos, modelos, soluciones de problemas.

- Grado de competitividad en concursos, licitaciones, proyectos. - Papel protagónico del Estado –y de empresas e instituciones privadas- en la financiación y organización de este tipo de concursos competitivos de mérito. Ejemplos en robótica, diseño de nuevos materiales, diseño de software, desarrollo de energías alternativas, biotecnologías, transporte, etc.

- Efectos altamente positivos en las universidades por la emulación entre facultades o grupos de investigación y por la activa participación de estudiantes. (Ejemplo: NASA www.darpa.mil/grandchallenge

-

-Los principales actores, interesados y beneficiarios de este modelo son los profesores y estudiantes, participantes en grupos de investigación y experimentación.

- Este modelo genera una estrecha articulación entre investigación, experimentación, innovación y docencia.

- Los estudiantes participan activamente, desde el pregrado, en grupos y proyectos de I & D, en concursos, licitaciones, ferias de innovación, competencias locales y nacionales. Lo que promueve una alta motivación en el aprendizaje basado en proyectos (project-based learning), en lugar de la tradicional formación pasiva, basada en acumulación de conocimientos.

- En economías basadas en logros continuos en productividad y competitividad, necesidad de estimular y promover la creatividad e innovación en la educación superior. El mejor medio es ofrecer retos y recompensas y distinciones a estudiantes y programas, mediante su participación en concursos, competencias, licitaciones.., en diversas áreas del conocimiento.

- En la actual ‘sociedad del conocimiento’, de la Ciencia y la Tecnología, de la innovación y la creatividad; es necesario que los sistemas educativos, de ciencia y tecnología, y el sector productivo, diseñen estrategias de promoción, estímulo y distinción a la competencia e idoneidad (entendidas como logros, creatividad, desempeño, solución de problemas, proactividad..) tanto en profesionales como en científicos, como en el conjunto de la fuerza laboral. A mayor desarrollo de las capacidades creativas de los individuos (en las artes, la literatura, la ciencia, la tecnología, la cirugía, el diseño, la gestión..), mayor capital humano, mayor PIB per cápita, mayor riqueza, mayor desarrollo.

- En Corea, Japón y Estados Unidos, por ejemplo, son muy importantes los concursos y competencias, regionales y nacionales, entre colegios y entre universidades, en determinados campos de las ingenierías y tecnologías, como la robótica, telecomunicaciones, nuevos materiales, transporte, nuevas fuentes energéticas, biotecnologías, soluciones a determinados problemas locales o nacionales, etc.

La calidad de la educación que reciben los estudiantes en pregrado: en C y T, Artes, Humanidades, Sociales, etc.. - Dimensión cualitativa que se evalúa en los resultados del proceso educativo:

- en el desarrollo de sus capacidades de conceptualización y abstracción (capacidad de análisis simbólico);

- en su capacidad de formulación de preguntas de investigación, y en su capacidad de experimentación;

- en sus competencias en la solución de problemas, y en su creatividad en su disciplina (científica, tecnológica, artística, humanística..).

- Este tipo de evaluación requiere criterios y metodologías muy diferentes de las comúnmente utilizadas, las que solo indirectamente miden la calidad de la educación que efectivamente recibe el estudiante. - En esta opción se busca una medición directa, por la que el foco de análisis se centra en las tesis y trabajos de grado; en el desempeño ocupacional de graduados; en los proyectos de investigación elaborados; en los logros científicos, tecnológicos o artísticos demostrados (soluciones de problemas, ensayos, obras literarias o musicales, diseños, proyectos, etc..).

CONCLUSIONES:Cuatro modelos diferentes de definición y medición de la calidad de la educación superior:

1. El primer modelo, basado en indicadores de productividad e investigación, utilizados en los rankings internacionales, no se refiere a la calidad de la educación que reciben los estudiantes. - Esta dimensión es invisible, no genera indicadores.

- Se supone, falsamente, que la mayor capacidad institucional de investigación está directa y positivamente asociada con la calidad de la educación de los estudiantes. - Sin embargo, las funciones de investigación y docencia son muy diferentes entre sí,se rigen por normas y estímulos diferentes. - Este modelo está basado en el de las research university. - En este tipo de universidad no necesariamente hay alta

calidad de la relación pedagógica en el pregrado pues las

prioridades se orientan a los postgrados y actividades de investigación.

 

2. En el segundo modelo, basado en la homogeneización de condiciones académicas e institucionales de funcionamiento, se logra el importante objetivo social de elevar y nivelar esas condiciones de funcionamiento entre las diversas instituciones de un país, estableciendo así condiciones mínimas comunes en las diferentes instituciones. - Este es el principal objetivo de esquemas de ‘acreditación’ de programas e instituciones, vigentes en muchos países.

- Es común el supuesto de que esos estándares y parámetros de funcionamiento y de cualificación del cuerpo docente son suficientes para asegurar una buena calidad de la educación en el estudiante.

- En muchos de estos esquemas de acreditación el aprendizaje del estudiante no forma parte de los indicadores de la evaluación.

- Son escasos los indicadores y mediciones directas de esa calidad, remplazados por indicadores indirectos como el desempeño ocupacional de egresados.

- Es ausente o muy débil la evaluación de la calidad de la relación pedagógica y su efecto en la formación del estudiante.

 3. En el tercer modelo, exámenes de egreso de la educación superior, se presentan problemas de homogeneización de la formación, en contra de la diversidad conceptual y metodológica, consustancial a la autonomía universitaria. - Lo que genera problemas de validez, y de aceptación y legitimidad en las universidades, de tal manera que en algunos países, como Colombia, se ha optado por hacerlos obligatorios a todos los que se van a graduar (Saber Pro). - Cabe señalar además el ya mencionado carácter artificial de las pruebas de competencias generales, a través del formato de ‘papel y lápiz’ y de opción múltiple, en contexto totalmente separado del laboral, en el que se prueban y ponen en escena las competencias generales. - Igualmente importante es la limitación a niveles básicos de estas competencias generales, excluyendo niveles de mayor complejidad, que deben ser el objetivo de la educación superior.

- Otra importante limitación es el ‘efecto entrenamiento’ (training effect) que sesga los puntajes a favor de quienes pueden prepararse para la prueba y que infla artificialmente los puntajes. 

Finalmente, la medición se limita a puntajes de estudiantes, sin análisis de las condiciones institucionales que afectan la calidad.  En reconocimiento de estas limitaciones, el programa SINAES, de Brasil, no se limita a una sola prueba de estudiantes sino que analiza diversas condiciones académicas de las instituciones, de tal manera que la evaluación sirva de retroalimentación para su mejoramiento.

- El proyecto AHELO, de la OECD, pretende superar el efecto ‘ranking’ de las pruebas internacionales y se centra en el estudio de procesos de enseñanza-aprendizaje y sus efectos sobre la calidad de la educación de los estudiantes.

4. En la cuarta opción o modelo se considera que lo importante del proceso educativo no es la evaluación de determinados aprendizajes; generalmente en pruebas siempre convergentes, ya sea censales o muestrales; sino el aporte, el estímulo a la creatividad e innovación de los estudiantes.

- Para lo cual, a lo largo del proceso educativo se ofrecen diversas oportunidades de demostración de las capacidades del estudiante, en concursos y competencias de solución de problemas, de diseño, de obras de arte, composiciones musicales, ensayos literarios, proyectos de investigación y experimentación.

La creatividad del estudiante se reconoce y promueve a lo largo de su educación, de tal manera que lo importante son sus logros, no sus puntajes en pruebas convergentes.

- Esta opción pedagógica requiere el compromiso tanto del Estado como de las empresas privadas en organizar y financiar diversas ofertas de concursos, licitaciones, competencias y eventos creativos, con sus respectivos reconocimientos, en todas las áreas del conocimiento.

- Igualmente importante, desde la perspectiva pedagógica, son los esquemas de reconocimiento, distinción y emulación de los logros de los estudiantes desde los primeros semestres de formación. Lo que además de constituir modalidades alternativas de evaluación estimulan la creatividad y autonomía en el estudiante.