JOSÉ MARÍA GÓMEZ SANCHO

Presupuesto y Gasto Público 67/2012: 43-70 Secretaría de Estado de Presupuestos y Gastos

© 2012, Instituto de Estudios Fiscales

La evaluación de la eficiencia de las universidades públicas españolas: En busca de una evaluación neutral entre áreas de conocimiento JOSÉ MARÍA GÓMEZ SANCHO MARÍA JESÚS MANCEBÓN TORRUBIA Universidad de Zaragoza

Recibido: Abril 2012 Aceptado: Junio 2012

Resumen

El objetivo de este artículo es evaluar la eficiencia técnica de las Universidades Públicas Españolas. El interés principal se centra en las cuestiones metodológicas. En concreto, se hace hincapié en la relevancia de una adecuada definición de las variables y de las proxies seleccionadas, tanto de los inputs como de los outputs de las actividades de docencia e investigación, en aras de alcanzar una evaluación neutral entre las distintas áreas de conocimiento. Además, se presta una especial atención a la selección del método de evaluación para estimar la eficiencia de las universidades. Por último, el trabajo alerta de las cautelas que es necesario tener en cuenta para proporcionar una adecuada interpretación de los valores de eficiencia obtenidos y de las posibles vías de mejora en este tipo de evaluaciones.

Palabras clave: eficiencia, universidades, multiactividad, DEA, homogeneidad.

Clasificación JEL: I23, C61.

Abstract

The aim of this paper is to evaluate the technical efficiency of the Spanish Public Universities. The main interest is focused in the methodological questions. In particular, the article is directed to show the relevance of an accurate definition of variables which proxy suitably the inputs and outputs of the teaching and researching activities of universities in order to get a neutral evaluation between the different areas of knowledge. Additionally, a great attention is paid to the evaluation method selected to evaluate the efficiency of universities. Finally, the paper alerts of the cautions that it is necessary to take into account in order to get a correct interpretation of the efficiency scores and points to the direction to improve this kind of evaluations.

1. Introducción

La importancia de la educación superior en las sociedades desarrolladas es incuestionable. Su aportación al desarrollo de las naciones es clave, ya que proporciona, mediante la actividad docente, recursos humanos altamente cualificados y, amplía, mediante la actividad investigadora, la frontera del conocimiento así como su transferencia a la sociedad.

44 José María Gómez Sancho y María Jesús Mancebón Torrubia

El análisis de la actividad que se lleva a cabo en las instituciones de educación superior resulta de especial interés en el momento actual. Por un lado, resulta indiscutible que en un contexto de restricción extrema de recursos, el preguntarse si debe gastarse más o menos en educación superior, o si es adecuado el tamaño del gasto con el que los diversos recursos son empleados para proporcionar los servicios universitarios, se convierte en un área de legítimo interés. Por otro lado, parece plenamente asumido que el avance del conocimiento sólo puede ser generado, transmitido, criticado y recreado en el contexto de unas instituciones libres y plurales que tengan una completa autonomía y libertad académica, lo que implica un altísimo grado de responsabilidad y, asociado a ella, la ineludible necesidad de rendición de cuentas a la sociedad, algo que es indisociable del concepto de calidad y eficiencia. Es esta necesidad de responsabilidad social, y de la rendición de cuentas que le acompaña, la razón principal que motiva el estudio que aquí se plantea.

Su objetivo es someter a discusión el proceso que es necesario acometer para realizar una evaluación de la actividad productiva que llevan a cabo las universidades. No se trata tanto de obtener un dato concreto sobre la tasa de eficiencia de cada universidad española, lo que se hace en el estudio empírico que contiene el artículo, como de discutir distintos aspectos metodológicos que surgen en el proceso de evaluación: la delimitación de los outputs e inputs de la actividad universitaria, la selección de la técnica y el modelo de evaluación y la elección de la muestra adecuada. Estos aspectos han sido tratados en detalle en publicaciones previas de los autores firmantes del presente artículo (véase Gómez-Sancho y Mancebón-Torrubia, 2005, 2008, 2009 y 2010). Se trata ahora de recopilar las conclusiones básicas allí obtenidas y de aplicarlas a la evaluación de una realidad concreta: la actividad de las universidades españolas en el año 2000.

La estructura expositiva es la siguiente. En primer lugar, se describe el proceso de producción de las instituciones universitarias (epígrafe 2). En segundo lugar, se discute qué modelo de los existentes en la literatura se ajusta mejor a la naturaleza peculiar de dicho proceso de producción (epígrafe 3). Las conclusiones obtenidas en estos primeros epígrafes son objeto de aplicación empírica en el cuarto epígrafe del trabajo. En él se realiza una evaluación de la eficiencia de las Universidades Públicas Españolas en el año 2000. El trabajo finaliza con el habitual apartado de conclusiones.

2. El proceso de producción de las Universidades

Como es sabido, para evaluar la eficiencia interna de cualquier organización es necesario construir, ya sea explícita o implícitamente según la técnica aplicada, una función de producción que refleje el proceso productivo mediante el cual las entidades objeto de valoración realizan la transformación de unos inputs en unos outputs.

Una aproximación útil a la función de producción de las universidades es la que toma como punto de partida los objetivos que habitualmente se les atribuyen 1. Según el informe Jarrat (Commite of Vice-Chancellors and Principals of the Universities of the United Kingdom, 1985) dichos objetivos son los siguientes: instruir convenientemente a los alumnos con el fin de dotarlos de habilidades para que puedan formar parte del mercado laboral,

45 La evaluación de la eficiencia de las universidades públicas españolas...

promover los poderes generales de la mente, hacer avanzar el conocimiento y, finalmente, transmitir la cultura general y los principios comunes de ciudadanía 2. El logro de esos objetivos se alcanza mediante la investigación y la docencia, las dos funciones principales de las universidades.

Esta aproximación a la realidad productiva de las universidades pone de manifiesto una peculiaridad de su proceso de producción: la realización simultánea de dos actividades de distinta naturaleza. Por un lado, las universidades generan conocimientos a través de la investigación, y por otro, difunden sus conocimientos a través de la labor de magisterio. Y lo que es también muy importante, muchos de los recursos empleados son compartidos por las dos actividades (profesorado, personal de administración y servicios, instalaciones, equipos, suministros, etc.). Esta particularidad necesariamente ha de condicionar todo el proceso de evaluación de su actividad.

A partir de esta primera consideración, el resto del epígrafe se dedica a profundizar en la naturaleza de los outputs e inputs de las dos actividades desarrolladas conjuntamente en las universidades, la docencia y la investigación.

a. El output docente de las Universidades

La docencia constituye la actividad que permite a las Universidades desempeñar la función de transmisión del conocimiento.

La aproximación a los resultados de esta actividad exige seleccionar un/unos indicador/es que refleje/n adecuadamente el producto de la docencia universitaria y que sean neutrales entre las diferentes áreas de conocimiento y/o titulaciones. Las alternativas propuestas en la literatura son variadas: número de matriculados, número de egresados, expediente académico, tasas de graduación, tasas de inserción laboral, valoración subjetiva de los alumnos o los salarios obtenidos por los graduados en el mercado de trabajo.

Una de las variables que presenta mayor interés como aproximación al output docente de las universidades es, a nuestro entender, el grado de inserción laboral de los titulados (corregida por los salarios percibidos). Esta variable presenta como ventaja el ser neutral entre titulaciones, ya que es la oferta y demanda de egresados la que determina la inserción, independientemente del tipo de titulación. Otros de los indicadores propuestos (opinión del alumnado, expediente académico, tasas netas de graduación) varían en función de la titulación, lo que sesga los resultados a favor de las universidades con mayor presencia de titulaciones menos exigentes académicamente.

La principal dificultad asociada a la elección del grado de inserción laboral de los titulados como aproximación al output docente de las Universidades, dificultad que afecta también a muchos otros de los indicadores arriba citados, se encuentra en la carencia de datos desagregados sobre esta variable en las estadísticas universitarias disponibles. En España las dos fuentes principales de datos sobre las Universidades, el Ministerio de Educación y la Conferencia de Rectores de las Universidades Españolas (CRUE) 3, no recaban información sobre esta variable.


Descartados los datos sobre inserción laboral de los titulados, otros candidatos de interés para medir la actividad docente universitaria son las tasas de graduación o simplemente el número de alumnos de cada universidad, ya sean matriculados o graduados.

Si se opta por las tasas de graduación, debe tenerse en consideración que las que realmente aproximan bien el output docente son las tasas netas, es decir, aquéllas que se definen sobre el número de alumnos matriculados en el momento de inicio de los estudios de los alumnos graduados, dato éste no disponible actualmente en las estadísticas universitarias.

En cuanto a las medidas de volumen, la disyuntiva se encuentra entre el número de alumnos matriculados o el número de egresados, ya sean en ambos casos totales o por nivel de estudios. Estas medidas han sido utilizadas en diversas aplicaciones empíricas (Abbot y Doucouliagos, 2003; Agasisti y Johnes, 2009; Ahn, Arnold, Charnes y Cooper, 1989; Ahn y Seiford, 1993; Beasley, 1990 y 1995; McMillan y Datta, 1998; Sinuay-Stern, Mehrez y Barboy, 1994; Thanassoulis et al., 2011; Wortington y Lee, 2008). Desde nuestro punto de vista, la que mejor aproxima el output docente es la segunda, número de egresados, ya que mide el final de un proceso de transmisión de conocimientos cuyo aprovechamiento queda certificado por la emisión del título académico. En todo caso, debe tenerse en cuenta que esta variable se ve afectada por el tipo de titulación, por lo que su uso sólo es recomendable cuando se evalúan universidades que imparten similares titulaciones.

b. El output investigador de las Universidades

La literatura sobre la medición del output investigador es muy abundante (Glänzel y Moed, 2002). A pesar de discrepancias en aspectos concretos, existe un acuerdo generalizado en que las variables que mejor aproximan la actividad investigadora son los indicadores bibliométricos, si bien se pone en duda que los indicadores disponibles en la actualidad sean los adecuados a la hora de realizar comparaciones entre investigadores, áreas y/o instituciones.

En la práctica, los indicadores más conocidos y empleados son los factores de impacto de las revistas proporcionados por el Institute of Scientific Information (ISI) a través de los índices recogidos en el Journal of Citation Report (JCR). Sin embargo, como ha sido demostrado en varios trabajos, estos indicadores contienen sesgos importantes que desaconsejan su empleo directo para realizar evaluaciones comparativas de la actividad investigadora (véase entre otros: Garfield, 1996; Gómez-Sancho y Mancebón-Torrubia, 2009; Wallin, 2005 o Whitehouse, 2002). Por otra parte, el método de cálculo empleado por ISI en la construcción de su factor de impacto ha sido objeto de numerosas críticas que se han dirigido a todos y cada uno de los criterios empleados por esta institución para la elaboración de sus índices (Glänzel y Moed, 2002; Moed, 2002; Seglen, 1997). Las mayores deficiencias, reconocidas por el propio Instituto, hacen referencia a los siguientes aspectos: la representatividad de la muestra de revistas seleccionadas (Garfield, 1996) 4, su sesgo a favor de publicaciones en lengua anglosajona (Archambault et al., 2006), la distinta propensión a citar entre los diferentes autores y áreas de conocimiento (Zitt y Small, 2008), la elección de un período muy corto de tiempo de cómputo de las citaciones para el cálculo de los índices (Sombatsompop et al., 2004) y, sobre todo, la dificultad de aplicar esta metodología a las


Humanidades y a algunos campos de las Ciencias Sociales (como las Ciencias Jurídicas), donde la revista científica no es el principal vehículo de difusión del conocimiento.

Es por ello que en los últimos años han surgido varias propuestas de nuevos indicadores (o de correcciones sobre los indicadores suministrados por el ISI), con los que se pretende incrementar la comparabilidad entre áreas de conocimiento. Entre los más conocidos se encuentran: el factor de impacto a 5 años, el índice h, el eigenfactor, o los indicadores que se han propuesto desde la Universidad de Leiden 5.

A estas críticas, dirigidas específicamente a la metodología de construcción de índices de impacto elaborada por ISI, deben añadirse otras que afectan con carácter general a la medición de la calidad de la producción científica de las universidades mediante los impactos de sus investigaciones (véase Aksnes, 2006; Mueller et al., Sombatsompop et al., 2004 o Zitt y Small, 2008). De ellas, dos merecen una especial atención, desde nuestro punto de vista: las diferencias existentes entre las áreas de conocimiento en la propensión a citar y en el período en que se materializa el impacto.

La propensión a citar hace referencia al número de citas incluidas en cada artículo. Esta característica tiene efectos inmediatos sobre el valor del factor de impacto desde el momento en que dos áreas de conocimiento, revistas o autores tienen, por los motivos que sean, comportamientos diferenciados. En efecto, el hecho de que en un área se cite el doble que en la otra le otorgará, ceteris paribus, el doble de impacto.

En cuanto a los sesgos asociados al período de tiempo en que se materializa el impacto, éstos se producen porque el factor de impacto que calcula ISI para cada año, sólo toma en consideración los datos relativos a los dos años anteriores, lo que penaliza a las investigaciones que, por su naturaleza, requieren un período de asimilación más largo.

En definitiva, la medición del output investigador de las universidades debe llevarse a cabo con suma cautela. No basta con tratar de cualificar la producción haciendo uso de los factores de impacto publicados por diversas instituciones, sino que resulta fundamental aplicar las correcciones oportunas sobre éstos al objeto de que las evaluaciones reflejen de manera más ecuánime la situación de cada universidad. En Gómez-Sancho y Mancebón-Torrubia (2009) se explican los ajustes que, sobre el factor de impacto que calcula ISI, resultan necesarios para conseguir aproximar un factor de impacto que sea más neutral entre las áreas de conocimiento.

c. Los inputs de las Universidades

Como ha sido destacado anteriormente, una peculiaridad del proceso productivo que se lleva a cabo en las universidades es que las dos actividades que en ellas se desarrollan, docencia e investigación, se producen de manera conjunta. A pesar de que la tecnología de producción de conocimientos es diferente de la asociada a la difusión de estos últimos, la mayor parte de los recursos empleados en la obtención del output investigador es común a los empleados en la obtención del output docente, resultando de gran dificultad realizar una asignación precisa de los inputs asignados a cada una de las dos actividades productivas.

De manera general, los trabajos dedicados a la especificación formal de la función de producción de las universidades agrupan a los inputs en dos categorías principales: el factor


trabajo y el factor capital (para una revisión reciente de esta literatura véase Vázquez Rojas, 2011).

Respecto al primero de ellos, la totalidad de estudios coincide en aproximarlo mediante la variable profesorado, protagonista principal en la actividad docente e investigadora. En algunos trabajos tan solo se presta atención al número bruto de profesores, sin diferenciar entre su cualificación o dedicación, lo que puede conducir a sesgos cuando se comparan instituciones universitarias con diferente antigüedad y, por tanto, diferente asentamiento de la plantilla de profesorado. Por esto motivo, a nuestro juicio, la variable profesorado equivalente a tiempo completo resulta preferente. Su ventaja principal es su neutralidad entre áreas de conocimiento, ya que con ella se homogeneiza tanto el tiempo destinado a impartir docencia como el destinado a las labores de investigación.

Con relación al factor capital, suele ser habitual diferenciar entre gastos corrientes y de capital. Los primeros engloban, entre otros, los gastos de personal y de funcionamiento; mientras que los segundos, se centran fundamentalmente en las inversiones reales. Entre las variables más empleadas como proxies del factor capital en los estudios empíricos sobre la función de producción de las universidades se pueden citar los siguientes: los gastos totales, los ingresos ligados a la investigación y los gastos de funcionamiento (Vázquez Rojas, 2011). Los primeros provocan una doble contabilización del profesorado, ya que sus salarios constituyen una de las partidas más importantes de esos gastos totales. En cuanto a los ingresos ligados a la investigación, hay que tomar en consideración que son inputs exclusivos de la actividad investigadora. Los gastos de funcionamiento, sin embargo, constituyen inputs de las dos actividades llevadas a cabo por las universidades por lo que constituyen un recurso fundamental de su proceso de producción. En todo caso, hay que tener en cuenta que estos gastos difieren notablemente entre áreas de conocimiento, especialmente entre las experimentales y las no experimentales, aspecto que hay que tener en cuenta cuando se evalúan universidades con una oferta de titulaciones muy dispar en este sentido.

3. La selección del modelo de evaluación que mejor se adapta a lanaturaleza productiva de las Universidades

Otra de las elecciones fundamentales en la evaluación de la eficiencia productiva tiene que ver con la metodología empleada para obtener las estimaciones. Las alternativas son dos: una función de producción paramétrica, estimada a través de regresiones, o bien la utilización del método no paramétrico conocido como análisis envolvente de datos (DEA), basado en técnicas de programación matemática.

Tanto los argumentos teóricos como la revisión de la literatura se inclinan por el DEA como el método que mejor se adapta a las características que presenta la función de producción de las universidades. Su principal ventaja es su flexibilidad en cuanto a la modelización de la tecnología subyacente. Las posibilidades paramétricas deben asumir una forma funcional específica para la función de producción, supuesto que afecta de forma directa a los resultados de la estimación. El DEA, en cambio, permite obviar esta limitación, de tal modo que sólo se requiere que se asuman una serie de propiedades para el conjunto de posibilida


des de producción. La dificultad de modelizar los procesos de producción de las dos actividades principales de las universidades, docencia e investigación, inclinan la balanza a favor de la alternativa no paramétrica, puesto que permite aproximar de forma más fiable la tecnología de «caja negra» que subyace tanto en el proceso productivo educativo como en el investigador.

Además del anterior, otros argumentos apoyan el empleo del DEA en este campo. Así, la naturaleza multidimensional de los outputs en ambas actividades es asumida sin dificultad por este método, frente a las limitaciones de las técnicas paramétricas para tratar con múltiples outputs. Del mismo modo, la ausencia habitual de precios que se da en los servicios públicos (y la educación superior es un claro ejemplo) es un problema resuelto por el DEA de forma endógena, al fijar objetivamente los valores óptimos que maximizan la eficiencia productiva de cada unidad evaluada. Finalmente, se suele destacar la riqueza de los resultados ofrecidos por esta técnica de evaluación, resultados que pueden constituir una base de sumo interés en la implementación de estrategias de mejora de la gestión de los centros ineficientes 6.

Pese a las ventajas anteriores, también se deben considerar las debilidades propias del DEA con el fin de que no afecten de forma importante a los resultados de la evaluación que estamos efectuando. Entre las más destacadas cabe citar su carácter determinista, la inexistencia de un método estadístico de selección de variables y su alta sensibilidad a la presencia de outliers y/o errores de medida 7.

La elección de la técnica de evaluación no paramétrica (DEA) no agota las decisiones a adoptar cuando se trata de evaluar la eficiencia de las universidades. La realización simultánea de dos actividades diferentes en cuanto a su tecnología de producción, docencia e investigación, pero utilizando un número importante de recursos comunes desaconseja la aplicación de un modelo envolvente estándar como los propuestos por Charnes, Cooper y Rhodes (1978) o Banker, Charnes y Cooper (1984), ya que estos modelos fueron formulados al objeto de evaluar la actividad de organizaciones que llevan a cabo una actividad única.

Este hecho ha sido obviado por muchos de los trabajos empíricos que han evaluado la eficiencia de diferentes muestras de Universidades. Siguiendo a Trillo del Pozo (2002), entre dichos estudios pueden diferenciarse tres grandes bloques. El primero está formado por aquellos trabajos que utilizan un modelo DEA convencional aplicado sobre el conjunto de actividades desarrolladas por las Universidades o departamentos universitarios según la muestra seleccionada. El segundo engloba a aquéllos que aplican un modelo DEA convencional sobre una única actividad (docencia o investigación). El tercer conjunto de trabajos son los que obtienen sus estimaciones a partir del modelo multiactividad diseñado por Beasley (1995) y desarrollado, en su versión dual, por Mar Molinero (1996) y Mar Molinero y Tsai (1997).

El primer grupo de trabajos hace caso omiso de la realización de más de una actividad productiva por parte de las Universidades (Avrikan, 2001; Ng y Li, 2000). Su deficiencia principal es que asumen que las instituciones evaluadas son igualmente eficientes en todas sus tareas, mostrándose incapaces de suministrar una medida de eficiencia individual de las dos actividades principales que aquéllas llevan a cabo.

El segundo grupo de trabajos citados, al que pertenecen los estudios que han evaluado la eficiencia de departamentos universitarios, han centrado su atención en la actividad inves


tigadora (Martínez Cabrera, 2000). A pesar de que esta estrategia de evaluación constituye un avance frente a la seguida por el primer grupo de trabajos mencionados, ya que incorpora implícitamente el supuesto de que los procesos de producción pueden ser diferentes, lo cierto es que la asignación arbitraria de los inputs a cada una de las actividades resta validez a sus resultados.

Para resolver los problemas asociados a los estudios que utilizan los modelos DEA estándar, surgen los modelos DEA multiactividad. Su ventaja principal en el contexto de la evaluación de la actividad universitaria es que permiten distribuir objetivamente los recursos compartidos (profesorado, gastos corrientes, inversiones reales) entre la actividad docente e investigadora, a la vez que permiten llevar a cabo un tratamiento individualizado de cada una de ellas. Ello se hace mediante la modificación de la estructura matemática de los modelos convencionales, tal y como se explica a continuación.

Este tipo de modelos han sido aplicados al ámbito universitario por Beasley (1995) y Mar Molinero (1996), al sanitario por Tsai y Mar Molinero (2002), al de la seguridad ciudadana por Diez-Ticio y Mancebón-Torrubia (2001), o al de transporte por ferrocarril por Yu y Lin (2008).

Es justamente el artículo de Beasley de 1995 donde se presenta por primera vez una propuesta metodológica para abordar la problemática de las instituciones, como las universitarias, que comparten recursos para realizar actividades distintas desde el punto de vista tecnológico. Sobre la base de este trabajo, Mar Molinero (1996) construye una aportación que permite realizar una interpretación económica más directa y simple que la suministrada por Beasley, proporciona una estructura matemática de resolución más sencilla y, por último, destaca los paralelismos del modelo propuesto con la programación por metas (Goal Programming).

Para comprender adecuadamente la propuesta de estos autores, comenzaremos exponiendo la estructura de un modelo envolvente de datos convencional (ecuaciones 1 a 4).

max 1 = w (1)k

ke

S

∑λs js jk (2)x ≤ x s=1

S

s is y yik w (3)∑λ ≥ k s=1

k 0, s ≥ 0w ≥ λ (4)

Donde ek representa la eficiencia de la organización k; λs son los parámetros a partir de los cuales se construye el grupo de referencia de la entidad objeto de evaluación, y xjs e yis son, respectivamente, el input j y el output i utilizados por la organización s 8.


Sobre la base este modelo DEA estándar, el modelo multiactividad incorpora la situación especial de que algunos de los inputs son compartidos entre las actividades desempeñadas por esas organizaciones mientras que otros son de utilización exclusiva de una de ellas. Ello se traduce en una modificación de las restricciones del modelo de programación matemática).

En particular, cada input que participa en n actividades genera n restricciones en el modelo matemático. Por ejemplo, en el modelo multiactividad aplicado a la evaluación de la eficiencia de las universidades los inputs compartidos en las actividades docentes e investigadora dan lugar a las restricciones recogidas en las ecuaciones 5 y 6:

S T TR TRµ λ s ≤ µ x∑ j s js j jk

s=1 (5)

∑s

(1−µ R TR TRj )λs x js ≤ (1−µ j )x jk

S =1 (6)

siendo μj la proporción del input compartido j asociado a la actividad docente y (1–μj) la proporción del input conjunto j asociado a la actividad investigadora.

La estructura de las restricciones asociadas a los inputs no compartidos y a los outputs docente e investigador no se ve, sin embargo, modificada con respecto a la de las ecuaciones 2 y 3 del modelo convencional.

La función objetivo del modelo multiactividad si que es diferente a la del modelo convencional, dado que contiene las tasas de eficiencia en las dos actividades evaluadas: docencia e investigación. La ecuación 7 muestra la función objetivo con la que se completa la especificación formal del modelo multiactividad:

T T R RMax x = Θ w +Θ w0 k k k k (7)

donde wTk y wR

k constituyen el valor inverso de las eficiencias correspondientes a la actividad

docente e investigadora, respectivamente, y ΘTk y ΘR

k las ponderaciones otorgadas a ambos tipos de eficiencia en la determinación de la eficiencia global de la organización (inversa de la variable x0).

El atractivo de este modelo para evaluar la actividad productiva desempeñada por organizaciones, como las universidades, que realizan actividades muy diferentes empleando recursos comunes es, desde nuestro punto de vista, incuestionable. Es por ello que en el estudio empírico que se lleva a cabo en la siguiente sección haremos uso de este modelo para obtener las tasas de eficiencia de las Universidades Públicas Españolas (UPE).


4. La evaluación de la eficiencia de las Universidades Públicas Españolas: un ejercicio de aplicación

En este apartado se aplican las ideas que han sido objeto de discusión en los apartados anteriores a la evaluación de la eficiencia de una realidad concreta: la actividad desempeñada por las Universidades Públicas Españolas en el año 2000. En primer lugar, se explican las decisiones adoptadas en relación a la elección de la muestra objeto de estudio, a la selección de los inputs y outputs de las Universidades evaluadas y a la implementación del modelo multiactividad. En segundo lugar, se exponen los resultados obtenidos en la evaluación 9.

4.1. La selección de la muestra y la especificación del modelo de evaluación de las UPE

En las secciones anteriores se ha puesto de manifiesto de manera reiterada que muchas de las variables que aproximan los resultados y los recursos de la actividad universitaria presentan problemas de neutralidad entre áreas de conocimiento (véase apartado 2), lo que si no se corrige dará lugar a estimaciones de eficiencia sesgadas a favor de las áreas más favorecidas por los indicadores. Una estrategia para corregir este problema es circunscribir la evaluación a conjuntos muestrales homogéneos.

La propuesta de homogeneización de las UPE que ahora se realiza se encuentra desarrollada en el trabajo de Gómez-Sancho y Mancebón-Torrubia (2008). En él se aborda la problemática que suscita la heterogeneidad de las entidades objeto de evaluación en un análisis de eficiencia productiva y se ilustra dicha problemática mediante la realización de un ejercicio de clusterización de las UPE haciendo uso de los datos correspondientes al año 2000, los mismos datos con los que se trabaja en el presente estudio.

La agrupación de las UPEs realizada en el citado trabajo atendió a la oferta de titulaciones por rama de conocimiento. De acuerdo con ello, el mapa universitario español quedó configurado en tres claros grupos de universidades.

El primer grupo representa a las universidades de tipo técnico, es decir, aquéllas especializadas en ofertar casi en exclusiva titulaciones de este tipo. Está formado por nueve unidades (La Coruña, Cádiz, Cantabria, Córdoba, Miguel Hernández y las Politécnicas de Cartagena, Cataluña, Madrid y Valencia).

El segundo grupo, al que se denominó universidades no técnicas, caracterizadas por la práctica ausencia de titulaciones de carácter técnico (a él pertenecen las grandes universidades españolas en cuya ciudad o comunidad autónoma existe alguna universidad del primer grupo), quedó configurado por once universidades (Autónoma de Barcelona, Autónoma de Madrid, Barcelona, Complutense, Granada, Islas Baleares, Murcia, Pablo Olavide, Pompeu Fabra, Santiago de Compostela y Valencia).

El tercer grupo, al que se bautizó como el de las universidades generalistas, quedó formado por las restantes veintisiete universidades que ofrecían una amplía rama de titulaciones, sin que se detectase ninguna orientación a algún tipo concreto de titulación. Este es


el grupo más numeroso y a él pertenecen casi todas las universidades públicas que son únicas en su comunidad autónoma.

La mayor homogeneidad productiva de la actividad desempeñada por las universidades integrantes de cada uno de los tres grupos de universidades identificados aconseja que la eficiencia productiva de cada UPE se evalúe de manera independiente, comparando su actividad con la desempeñada por las universidades integrantes de su grupo. Esta es la estrategia por la que se opta en la realización de nuestro análisis empírico. De esta manera, se resolverá un modelo DEA para las universidades técnicas, otro para las no técnicas y otro para las generalistas.

Seleccionados los conjuntos muestrales que van a ser objeto de evaluación, queda pendiente tomar las decisiones oportunas relativas a la elección de las variables que van a tomarse en consideración para evaluar la eficiencia de las UPE, así como dotar de contenido al modelo multiactividad que va a ser objeto de resolución matemática para obtener las estimaciones de eficiencia. Con respecto a las variables representativas de la actividad productiva de las universidades evaluadas dos decisiones deben ser tomadas: cuántas y cuales seleccionar.

Con respecto al número de variables a escoger, aunque diversos autores tienden proponen que se recojan todos aquellos recursos y resultados que tengan algo que ver con el proceso productivo (Dyson et al., 2001) 10, la consideración de un número elevado de variables puede plantear ciertos problemas. El más comentado en la literatura sobre la evaluación de la eficiencia tiene que ver con los grados de libertad del modelo de estimación: cuanto mayor sea el número de variables empleadas menor será la discriminación que se obtiene al evaluar la eficiencia relativa. Por otro lado, una selección amplia de variables puede provocar que las estimaciones del modelo DEA atribuyan ponderaciones elevadas a los factores con menor relevancia en el proceso. Una regla de carácter práctico que se recomienda habitualmente seguir en la literatura especializada es que el número de organizaciones evaluadas sea como mínimo el doble del número de variables incorporadas (Dyson et al., 2001) 11.

En nuestra evaluación de las UPE se va a optar, siguiendo la regla anterior, en que el número de variables representativas de los inputs y outputs de las universidades evaluadas no sea superior a cuatro 12. Dos de ellas tratarán de aproximar los resultados obtenidos en los procesos productivos docente e investigador. Las otras dos aproximarán los recursos empleados en dichos procesos (trabajo y capital).

La aproximación a los resultados docentes de las UPE cuenta con la limitación de las fuentes estadísticas disponibles (Consejo de Coordinación Universitaria, 2002 y Hernández Armenteros, 2002). La inexistencia de información desagregada a nivel de universidad sobre tasas de inserción laboral de los titulados, expediente académico o encuestas de evaluación del profesorado por parte de los alumnos limita las posibilidades a la elección entre las tasas de graduación o el número de alumnos (matriculados o graduados). Las primeras son rechazadas, debido a la imposibilidad de trabajar con tasas netas (sobre matriculados en el año de comienzo de la titulación), dada la carencia de datos adecuados. En cuanto a la elección del número de alumnos que resulta relevante en una evaluación de la eficiencia universitaria, éste es, a nuestro entender el número de egresados, ya que, como se señaló anterior


mente, este número refleja la certificación de que a los alumnos se les han transmitido las competencias y habilidades requeridas por la titulación (objetivo docente principal). A pesar de que esta variable no es neutral entre titulaciones, la circunscripción de la evaluación a los grupos homogéneos anteriormente mencionados reduce los sesgos que en otro caso su uso podría ocasionar en las estimaciones. Es por ello que el número de alumnos graduados en cada UPE en el año 2000 constituye el indicador del output docente que se emplea en nuestro estudio empírico 13.

En cuanto a la medición del output investigador de las UPE, la elección que se propone toma como referencia los resultados de dos publicaciones previas de los autores de este trabajo (véase Gómez-Sancho y Mancebón-Torrubia, 2009 y 2010). En ellos se aborda el problema de medición de la actividad investigadora mediante los factores de impacto y se propone una metodología que corrige algunos de los sesgos asociados al factor de impacto que elabora el ISI. En concreto, en el primero de estos trabajos se elaboró un nuevo indicador del impacto de las revistas de investigación realizando ciertas correcciones y ajustes a los índices de impacto proporcionados por el Institute of Scientific Information (ISI). En el segundo, la aplicación de esta metodología a los datos de las publicaciones de las UPE en el año 2000, permite cuantificar su producción científica. Es este indicador el que se va a utilizar para medir el output investigador de las universidades cuya eficiencia se trata de cuantificar.

Finalmente, la medición de los inputs de las actividades docentes e investigadora de las UPE se aproximan, en consonancia con lo explicado en el apartado 2 y en función de la disponibilidad de datos, mediante el número de profesores equivalentes a tiempo completo de cada universidad (aproximación al factor trabajo) y mediante los gastos de funcionamiento (aproximación al factor capital).

Tras haber determinado los grupos sobre los que se estimará la eficiencia productiva de las UPE y seleccionadas las variables que aproximan su proceso productivo, queda sólo pendiente especificar el modelo DEA multiactividad que permitirá obtener las tasas de eficiencia docente e investigadora correspondientes a cada una de la universidades evaluadas. A este respecto, y tal y como se explicó anteriormente, se deben tomar y justificar algunas decisiones por parte del investigador. En primer lugar, se debe determinar la importancia que se le concede a cada actividad en el cómputo de la eficiencia global (valores de ΘT y ΘR

en la función objetivo). La carencia de un criterio sólido sobre el que fundamentar la elección nos lleva a conceder la misma importancia al proceso docente como al proceso investigador, es decir a atribuir un valor de 0.5 a las ponderaciones de la función objetivo del modelo matemático. En segundo lugar, se debe considerar la posibilidad de limitar la distribución de los inputs compartidos entre las dos actividades. En nuestro caso vamos a convenir que los dos inputs compartidos representen un mínimo del 30 por ciento en cada actividad. Ello se debe a que la legislación indica que el profesorado universitario debe dedicar al menos un tercio de su tiempo a la investigación. En tercer lugar, se opta por imponer rendimientos variables a escala, dado el distinto tamaño de las universidades evaluadas en cada uno de los tres grupos.

La especificación formal del modelo multiactividad que se va a emplear para obtener las estimaciones de la eficiencia de las UPE es, por tanto, la siguiente:


⎛ 2 4 ⎞(I) Max x 0 = ΘT T R R +

k w k +Θk w k + ε⎜ ∑ s r +∑ s− i ⎟

⎝ r =1 i =1 ⎠

sujeto a:

S

(II) ∑ µ λT TR 1 ( x TR

1 s x s = µ1 1k − s−1 )s=1

S

(III) ∑ (1 −µ1 ) λR TR s x 1 s = (1 −µ ) TR

1 ( x −1k − s2 )

s=1

S

(IV) ∑ µ λT 2 x TR

s 2 s = µ2 ( x TR2k − s−3 )

s=1

(V) ∑S

(1 −µ2 ) λR x TR s 2 s = (1 −µ2 )( x TR −

2k − s4 )s=1

S

(VI) ∑ λ T T T T +s y 1 s = w k y 1 k + s1

s=1

S

(VII) ∑ λ R s y R +

s = w R k y R2 2 k + s2

s=1

(VIII) w k ≥ λ0, s ≥ 1

(IX) w T R k ≥ 1, wk ≥ 1

(X) 0.3 ≤ µ1 ≤ 0.7

(XI) 0.3 ≤ µ2 ≤ 0.7

(XII) λ ≥T 0, R s λs ≥ 0

(XIII) s s+ r , −

i ≥ 0

S

(XIV) ∑λ =T s 1

s=1

S

(XV) ∑λ =R s 1

s=1

(XVI) Θ =T R k Θk = 0.5


4.2. Resultados: la eficiencia de las UPE

En este apartado se exponen los resultados obtenidos de la aplicación del modelo multiactividad recién especificado a los tres grupos homogéneos de UPE atendiendo a su oferta de titulaciones: las universidades técnicas, las no técnicas y las generalistas. En los cuadros 1, 2 y 3 se presentan las tasas de eficiencia correspondientes al cada uno de los tres grupos de universidades.

El grupo de universidades técnicas es, como se dijo anteriormente, el formado por el menor número de universidades (sólo nueve). Respecto a la actividad docente, los resultados muestran que cuatro universidades son eficientes (Córdoba, Politécnica de Cartagena, Politécnica de Cataluña y Politécnica de Madrid). Respecto a la actividad investigadora, son cinco las universidades eficientes (Cantabria, Córdoba, Miguel Hernández de Elche, Politécnica de Cartagena, Politécnica de Cataluña). Por tanto, sólo tres universidades son eficientes globalmente: Córdoba, Politécnica de Cartagena y Politécnica de Cataluña.

El grupo de universidades no técnicas está formado por once universidades. Respecto a la actividad docente, los resultados muestran que cinco universidades son eficientes (Complutense de Madrid, Granada, Murcia, Pablo Olavide de Sevilla y Valencia Estudi General). Respecto a la actividad investigadora, solo son tres las universidades eficientes (Autónoma de Madrid, Barcelona y la Pablo Olavide de Sevilla). Por tanto, sólo la universidad Pablo Olavide de Sevilla es eficiente globalmente.

En cuanto las universidades generalistas, el grupo más numeroso con veintisiete universidades, siete de ellas aparecen como eficientes en la actividad docente: Burgos, Extremadura, Gerona, La Rioja, País Vasco, Sevilla y Valladolid. En la actividad investigadora otras siete se muestran como eficientes: Alcalá de Henares, Almería, La Rioja, Oviedo, País Vasco, Rovira i Virgili y Zaragoza. Por tanto, tan sólo dos universidades se muestran globalmente eficientes: La Rioja y País Vasco.

En todos los resultados presentados se muestran los grupos de referencias de las universidades ineficientes. Se observa como las universidades de tamaño intermedio, mayoritarias en la muestra, son las que aparecen más veces como referencia para las ineficientes. Un dato llamativo es el que en los tres grupos aparezcan como globalmente eficientes las universidades más pequeñas (Politécnica de Cartagena, Pablo de Olavide y La Rioja) lo que puede deberse a que sus costes de profesorado sean relativamente inferiores a los de otras similares o a que su oferta de titulaciones se centre en aquellas menos gravosas para sus Comunidades Autónomas.

Sobre la base de estos resultados suministrados por la resolución del modelo multiactividad, se propone un segundo análisis con el objetivo de agrupar a las universidades evaluadas en función de las estimaciones obtenidas con el método envolvente de datos. Para ello se lleva a cabo un análisis clúster cuyos resultados se presentan en el gráfico 1 14. En el eje horizontal se representan los valores de la eficiencia en la labor docente, en el vertical los valores de la eficiencia en la actividad investigadora. Este gráfico a su vez se subdivide en cuatro cuadrantes en función de las eficiencias medias obtenidas en cada una de las actividades 15. Como se ve en el gráfico 1, las UPE se agrupan en cinco grandes grupos en función de la eficiencia en cada una de las actividades.


Cua

dro

1E

ficie

ncia

de

las

Uni

vers

idad

es P

úblic

as E

spañ

olas

(gru

po T

ÉC

NIC

AS)

UN

IVER

SID

AD

ES E

DO

C

EIN

V

EG

LO

G

RU

PO D

E R

EFE

RE

NC

IA E

N D

OC

EN

CIA

G

RU

PO D

E R

EFE

RE

NC

IA E

NIN

VE

STIG

AC

IÓN

A C

oruñ

a 0.

995

0.41

8 0.

707

CÓ

RD

OB

A 0

.910

PO

L. C

ATA

LUÑ

A 0

.090

C

ÓR

DO

BA

0.8

73

MIG

UEL

HER

NÁ

ND

EZ0.

026

POL.

CATA

LUÑ

A0.

101

Cád

iz

0.91

0 0.

620

0.76

5 C

ÓR

DO

BA

0.8

78

POL.

CA

RTA

GEN

A 0

.122

C

AN

TAB

RIA

0.4

12

CÓ

RD

OB

A0.

588

Can

tabr

ia

0.78

9 1.

000

0.89

5 C

ÓR

DO

BA

0.7

04

POL.

CA

RTA

GEN

A 0

.296

C

AN

TAB

RIA

1.0

00C

órdo

ba

1.00

0 1.

000

1.00

0 C

ÓR

DO

BA

1.0

00

CÓ

RD

OB

A 1

.000

Mig

uel H

erná

ndez

0.

499

1.00

0 0.

749

CÓ

RD

OB

A 0

.238

PO

L. C

AR

TAG

ENA

0.7

62

MIG

UEL

HER

NÁ

ND

EZ 1

.000

Polit

écni

ca d

eCa

rtage

na

1.00

0 1.

000

1.00

0 PO

LITÉ

NIC

ACA

RTA

GEN

A 1

.000

PO

L. C

AR

TAG

ENA

1.00

0 Po

litéc

nica

de

Cata

luña

1.

000

1.00

0 1.

000

POLI

TÉCN

ICA

CATA

LUÑ

A 1

.000

PO

L. C

ATA

LUÑ

A1.

000

Polit

écni

ca d

eM

adrid

1.

000

0.69

4 0.

847

POLI

TÉC

NIC

AM

AD

RID

1.0

00

CÓ

RD

OB

A 0

.238

PO

L.C

ATA

LUÑ

A0.

762

Polit

écni

ca d

eV

alen

cia

0.77

7 0.

959

0.86

8 C

ÓR

DO

BA

0.3

23

POL.

CA

TALU

ÑA

0.3

72

POL.

MA

DRI

D0.

305

CÓ

RD

OB

A 0

.396

PO

L.C

ATA

LUÑ

A0.

604


Cua

dro

2E

ficie

ncia

de

las

Uni

vers

idad

es P

úblic

as E

spañ

olas

(gru

po N

O T

ÉC

NIC

AS)

UN

IVER

SID

AD

ES E

DO

C

EIN

V

EG

LO

G

RU

PO D

E R

EFE

RE

NC

IA E

N D

OC

EN

CIA

G

RU

PO D

E R

EFE

RE

NC

IA E

N IN

VE

STIG

AC

IÓN

Aut

ónom

a de

Bar

celo

na

0.74

5 0.

608

0.67

6 PA

BLO

OLA

VID

E 0.

171

VA

LEN

CIA

0.82

9 A

UTÓ

NO

MA

MA

DR

ID 0

.789

B

AR

CEL

ON

A 0

.211

Aut

ónom

a de

Mad

rid

0.90

7 1.

000

0.95

4 C

OM

PLU

TEN

SE0.

103

GR

AN

AD

A0.

046

MU

RCIA

0.8

51

AU

TÓN

OM

A M

AD

RID

1.0

00

Bar

celo

na

0.74

0 1.

000

0.87

0 C

OM

PLU

TEN

SE0.

369

VA

LEN

CIA

0.63

1 B

AR

CEL

ON

A 1

.000

Com

plut

ense

de

Mad

rid

1.00

0 0.

761

0.88

0 C

OM

PLU

TEN

SE1.

000

BA

RC

ELO

NA

1.0

00

Gra

nada

1.

000

0.43

0 0.

715

GR

AN

AD

A 1

.000

A

UTÓ

NO

MA

MA

DR

ID 0

.809

B

AR

CEL

ON

A 0

.191

Isla

s Bal

eare

s 0.

633

0.36

4 0.

498

PAB

LOO

LAV

IDE

0.77

9 V

ALE

NC

IA0.

220

AU

TÓN

OM

A M

AD

RID

0.3

21

PAB

LO O

LAV

IDE

0.67

9

Mur

cia

1.00

0 0.

397

0.69

8 M

UR

CIA

1.0

00

AU

TÓN

OM

A M

AD

RID

0.6

84

PAB

LO O

LAV

IDE

0.31

6Pa

blo

de O

lavi

de

1.00

0 1.

000

1.00

0 PA

BLO

OLA

VID

E 1.

000

PAB

LO O

LAV

IDE

1.00

0

Pom

peu

Fabr

a 0.

925

0.24

3 0.

584

PAB

LOO

LAV

IDE

0.81

8 V

ALE

NC

IA0.

182

AU

TÓN

OM

A M

AD

RID

0.2

65

PAB

LO O

LAV

IDE

0.73

5

Sant

iago

de

Com

post

ela

0.75

8 0.

555

0.65

6 PA

BLO

OLA

VID

E 0.

286

VA

LEN

CIA

0.71

4 A

UTÓ

NO

MA

MA

DR

ID 0

.960

B

AR

CEL

ON

A 0

.040

Val

enci

a 1.

000

0.61

2 0.

806

VA

LEN

CIA

1.0

00

AU

TÓN

OM

A M

AD

RID

0.5

36

BA

RC

ELO

NA

0.4

64

59 La evaluación de la eficiencia de las universidades públicas españolas...C

uadr

o 3

Efic

ienc

ia d

e la

s U

nive

rsid

ades

Púb

licas

Esp

añol

as (g

rupo

GE

NE

RA

LIS

TA

S)

UN

IVE

RSI

DA

DE

S E

DO

C

EIN

V

EG

LO

G

RU

PO D

E R

EFE

RE

NC

IA E

N D

OC

EN

CIA

G

RU

PO D

E R

EFE

RE

NC

IA E

N IN

VE

STIG

AC

IÓN

Alc

alá

de H

enar

es

0.66

5 1.

000

0.83

3 G

ERO

NA

0.5

89

VA

LLA

DO

LID

0.41

1 A

LCA

LA 1

.000

Alic

ante

0.

695

0.65

1 0.

673

GER

ON

A 0

.330

V

ALL

AD

OLI

D0.

670

ALC

ALA

0.6

04

OV

IED

O 0

.396

Alm

ería

0.

695

1.00

0 0.

847

BU

RG

OS

0.89

2 R

IOJA

0.0

16

VA

LLA

DO

LID

0.09

2 A

LMER

ÍA 1

.000

Bur

gos

1.00

0 0.

427

0.71

4 B

UR

GO

S 1.

000

ALM

ERÍA

0.4

44

RIO

JA 0

.556

C

arlo

s III

de

Mad

rid

0.50

5 0.

504

0.50

5 G

ERO

NA

0.7

72

VA

LLA

DO

LID

0.22

8 A

LCA

LA 0

.739

R

IOJA

0.2

61

Cas

tilla

-La

Man

cha

0.92

3 0.

454

0.68

9 G

ERO

NA

0.2

59

VA

LLA

DO

LID

0.74

1 A

LCA

LA 0

.495

O

VIE

DO

0.5

05

Extre

mad

ura

1.00

0 0.

940

0.97

0 EX

TREM

AD

URA

1.00

0 O

VIE

DO

0.1

36

RO

VIR

A I

VIR

GIL

I 0.8

64G

eron

a 1.

000

0.71

8 0.

859

GER

ON

A 1

.000

A

LCA

LA 0

.403

R

IOJA

0.5

76

RO

VIR

A I

VIR

GIL

I 0.0

21H

uelv

a 0.

787

0.35

3 0.

570

GER

ON

A 0

.149

R

IOJA

0.6

70

VA

LLA

DO

LID

0.18

1 A

LMER

ÍA 0

.055

R

IOJA

0.2

74

RO

VIR

A I

VIR

GIL

I 0.6

71Ja

én

0.94

8 0.

600

0.77

4 B

UR

GO

S 0.

753

RIO

JA 0

.054

V

ALL

AD

OLI

D0.

194

ALM

ERÍA

0.5

33

RO

VIR

A I

VIR

GIL

I 0.4

67Ja

ume

I de

Cas

telló

n 0.

606

0.83

6 0.

721

GER

ON

A 0

.394

R

IOJA

0.4

69

VA

LLA

DO

LID

0.13

7 A

LCA

LA 0

.101

R

IOJA

0.3

33

RO

VIR

A I

VIR

GIL

I 0.5

66La

Lag

una

0.57

0 0.

954

0.76

2 EX

TREM

AD

URA

0.70

3 V

ALL

AD

OLI

D0.

297

OV

IED

O 0

.267

R

OV

IRA

IV

IRG

ILI 0

.733

La R

ioja

1.

000

1.00

0 1.

000

RIO

JA 1

.000

R

IOJA

1.0

00

Las P

alm

as d

eG

ran

Can

aria

0.

519

0.37

2 0.

446

BU

RG

OS

0.30

5 EX

TREM

AD

URA

0.15

3 V

ALL

AD

OLI

D0.

542

OV

IED

O 0

.257

R

OV

IRA

IV

IRG

ILI 0

.743

León

0.

720

0.48

5 0.

603

GER

ON

A 0

.949

V

ALL

AD

OLI

D0.

051

ALC

ALA

0.4

88

RIO

JA 0

.512

Lérid

a 0.

446

0.65

4 0.

550

GER

ON

A 0

.694

R

IOJA

0.3

06

ALC

ALA

0.2

88

RIO

JA 0

.712

M

álag

a 0.

686

0.58

4 0.

635

GER

ON

A 0

.094

V

ALL

AD

OLI

D0.

906

VA

LLA

DO

LID

0.90

6 O

VIE

DO

0.7

57


Cua

dro

3E

ficie

ncia

de

las

Uni

vers

idad

es P

úblic

as E

spañ

olas

(gru

po G

EN

ER

AL

IST

AS)

(Con

tinua

ción

)

UN

IVE

RSI

DA

DE

S E

DO

C

EIN

V

EG

LO

G

RU

PO D

E R

EFE

RE

NC

IA E

N D

OC

EN

CIA

G

RU

PO D

E R

EFE

RE

NC

IA E

N IN

VE

STIG

AC

IÓN

Ovi

edo

0.72

6 1.

000

0.86

3 PA

IS V

ASC

O0.

043

VA

LLA

DO

LID

0.95

7 O

VIE

DO

1.0

00

País

Vas

co

1.00

0 1.

000

1.00

0 PA

IS V

ASC

O1.

000

PAIS

VA

SCO

1.00

0 Pú

blic

a de

Nav

arra

0.

628

0.87

9 0.

754

GER

ON

A 0

.843

R

IOJA

0.1

57

ALC

ALA

0.3

50

RIO

JA 0

.650

R

ey Ju

an C

arlo

s de

Mad

rid

0.20

2 0.

154

0.17

8 B

UR

GO

S 0.

321

RIO

JA 0

.541

V

ALL

AD

OLI

D0.

138

ALM

ERÍA

0.5

02

RIO

JA 0

.259

R

OV

IRA

IV

IRG

ILI 0

.239

Rov

ira i

Virg

ili

0.64

0 1.

000

0.82

0 G

ERO

NA

0.2

56

RIO

JA 0

.500

V

ALL

AD

OLI

D0.

244

RO

VIR

A I

VIR

GIL

I 1.0

00Sa

lam

anca

0.

773

0.76

3 0.

768

PAIS

VA

SCO

0.11

1 V

ALL

AD

OLI

D0.

890

OV

IED

O 0

.929

PA

IS V

ASC

O0.

071

Sevi

lla

1.00

0 0.

933

0.96

6 SE

VIL

LA 1

.000

PA

IS V

ASC

O0.

248

ZAR

AG

OZA

0.75

2 V

alla

dolid

1.

000

0.91

1 0.

955

VA

LLA

DO

LID

1.00

0 O

VIE

DO

0.5

76

RO

VIR

A I

VIR

GIL

I 0.4

24V

igo

0.81

5 0.

900

0.85

7 B

UR

GO

S 0.

348

EXTR

EMA

DU

RA0.

025

VA

LLA

DO

LID

0.62

7 O

VIE

DO

0.2

78

RO

VIR

A I

VIR

GIL

I 0.7

22Za

rago

za

0.70

4 1.

000

0.85

2 SE

VIL

LA 0

.128

V

ALL

AD

OLI

D0.

715

ZAR

AG

OZA

1.0

00


Gráfico 1 Agrupación de las universidades públicas españolas atendiendo a los resultados obtenidos en la

evaluación de la eficiencia productiva

El primer grupo solo lo compone la Universidad Rey Juan Carlos de Madrid. Con una eficiencia muy inferior a la del resto de universidades.

El segundo grupo identificado recoge a las universidades con resultados inferiores a la media en ambas actividades. Seis universidades componen este grupo, aunque la metodología clúster nos indica que el grupo debe subdividirse entre las que tienen unos resultados ligeramente inferiores a la media en docencia (Alicante, Málaga y León) y las que presentan unos índices de eficiencia docente bastante alejados de la media (Lérida, Carlos III de Madrid y Las Palmas de Gran Canaria).

El tercer grupo aglutina a las universidades con elevada eficiencia en investigación y una eficiencia en docencia cercana a la media o por debajo, lo que apunta a una posible especialización orientada hacia la investigación. Este grupo está compuesto por diez universidades y se puede subdividir en dos subgrupos. El primero lo componen ocho universidades eficientes o próximas a la eficiencia en la actividad investigadora (Oviedo, Alcalá de Henares, Zaragoza, Almería, Rovira i Virgili, La Laguna, Pública de Navarra y Jaume I de Castellón) pero con una eficiencia en docencia por debajo de la media. El segundo subgrupo está compuesto por las universidades de Vigo y Salamanca que obtienen en ambas actividades resultados ligeramente por encima de la media.

El cuarto grupo aúna las universidades con elevada eficiencia en docencia y baja en investigación, lo que apunta a una posible especialización orientada hacia la docencia. Este grupo está compuesto por cinco universidades que se puede subdividir en dos subgrupos. En esta subdivisión la clave se encuentra en la eficiencia alcanzada en la investigación. Así, el primer subgrupo está compuesto por las universidades de Gerona y Jaén con excelentes resultados en docencia y similares a la media en investigación, mientras que el segundo subgrupo está integrado por las universidades de Burgos, Castilla-La Mancha y Huelva, con resultados lejanos a la media en investigación.


El quinto, y último, grupo identificado recoge a las universidades que son eficientes globalmente (eficientes en ambas actividades) o tienen una eficiencia global muy próxima a la unidad. Cinco universidades forman este grupo, destacando entre ellas las dos que son eficientes globalmente, es decir, La Rioja y País Vasco. También destacan aquéllas que son eficientes en docencia y que poseen una muy elevada eficiencia en investigación como son las universidades de Sevilla, Valladolid y Extremadura.

Los resultados que se acaban de obtener deben ser interpretados sin perder de vista las limitaciones que les afectan. En primer lugar, las estimaciones reflejan la eficiencia de las UPE en un año concreto, el 2000. Lo ideal sería evaluar un período más dilatado para evitar cualquier distorsión de tipo coyuntural. Sin embargo, la laboriosidad que conllevan los ajustes realizados sobre el factor de impacto elaborado por ISI al objeto de corregir algunos de los sesgos que éste incorpora limitó la posibilidad de llevar a cabo un análisis dinámico que abarcara un período temporal mayor 16.

Una segunda cautela tiene que ver con el propio año escogido para llevar a cabo la evaluación. Su elección responde a una cuestión de disponibilidad de datos. Aunque en el transcurso de esta investigación han aparecido datos para años más recientes, éstos no se encontraban disponibles en el momento en que se realizaron los análisis básicos sobre los que cimienta la evaluación que ahora se ha llevado a cabo (homogeneidad muestral y correcciones sobre el factor de impacto).

Una tercera cautela es que, a pesar de los esfuerzos realizados para homogeneizar la muestra, las instituciones evaluadas presentan rasgos diferenciales que deben ser tenidos en cuenta en la interpretación de los resultados. Entre otros, debe mencionarse su distinta situación histórica y antigüedad 17. La eliminación de las universidades más jóvenes fue descartada, ya que imponía un coste al estudio (reducción de un tamaño muestral, ya de por sí reducido) que nos pareció inasumible, pero a cambio alguno de los resultados obtenidos deben ser contemplados con sumo cuidado (el más llamativo, el de la Rey Juan Carlos de Madrid) 18.

Una cuarta cautela tiene que ver con las variables empleadas para medir los logros en docencia y en investigación, así como con las empleadas para aproximar los inputs trabajo y capital. El empleo del número de titulados es una variable fundamentalmente cuantitativa que, aunque recoge en alguna medida aspectos cualitativos, al tener en cuenta aquellos estudiantes que han finalizado su proceso formativo y que por tanto han superado numerosas pruebas, no capta ni el conocimiento alcanzado (a través de tests o exámenes) ni el grado de adecuación al mercado de trabajo (inserción laboral de titulados, sueldos). Es decir, este indicador asigna el mismo valor a todos los estudiantes titulados independientemente de su cualificación.

Respecto a la medición del output investigador, hay que recordar que el factor de impacto que se emplea para cualificar la producción científica tiene sesgos hacia determinadas áreas (Ciencias y Salud frente a Ingenierías y Sociales y todas ellas frente a Humanidades) y que aun realizando correcciones que mejoran la comparabilidad entre las distintas universidades quedan aspectos pendientes de resolver (véase Gómez-Sancho y Mancebón-Torrubia, 2010). Por ejemplo, una adecuada medición del output investigador de las universidades debería incluir la investigación que no aparece en el formato de artículo de revista científica


(libros, informes, dictámenes, etc.) y que es muy importante en determinadas áreas de conocimiento como las Humanidades y las Ciencias Sociales. Por otra parte, para llegar a un indicador más afinado, lo relevante sería considerar el impacto de los artículos y no de las revistas. Estos son algunos de los grandes avances que más pronto que tarde verán la luz en el campo de la bibliometría, pero que en este momento se encuentran sin desarrollar.

En cuanto a los inputs, la aproximación al factor trabajo empleado es la que habitualmente se ha empleado en las investigaciones internacionales y no genera mayores problemas. Sin embargo, la variable que se emplea para medir el capital (gastos corrientes en bienes y servicios) puede dar lugar a ciertas distorsiones debidas a la disparidad de costes entre las distintas titulaciones (disparidad reducida en nuestro estudio por la agrupación de las universidades en función de su oferta de titulaciones).

Finalmente, debe tenerse en cuenta que nuestras estimaciones sólo consideran los resultados obtenidos en la docencia de primer y segundo ciclo, hoy en día unificados en los nuevos grados, quedando excluidos, por tanto, los estudios de tercer ciclo y los cada vez más importantes estudios propios (diplomas de especialización, postgrados y masters) 19.

5. Conclusiones

En este trabajo se ha presentado una aplicación empírica sobre la evaluación de la eficiencia de las Universidades Públicas Españolas.

La principal aportación, a nuestro entender, no radica en los resultados numéricos obtenidos, que, como se acaba de explicar, deben ser interpretados con una extremada cautela, sino en las recurrentes llamadas de atención que se hacen a lo largo de todo el texto sobre el cuidado que se ha de tener en la realización de este tipo de estudios. En particular, el trabajo gira en torno a los ajustes que, desde nuestro punto de vista, son necesarios para que una evaluación minimice las distorsiones provocadas por las diferencias existentes entre las áreas de conocimiento que están presentes en las distintas universidades españolas.

Una de las singularidades de nuestro trabajo, frente a otros de índole similar que han sido realizados previamente en nuestro país, es la conceptualización del proceso de producción que se lleva a cabo en las universidades como un proceso de producción conjunta, lo que ha condicionado la manera en que nos hemos enfrentado a todas y cada una de la etapas que hay que acometer en las evaluaciones de eficiencia productiva (selección de la muestra a evaluar, elección de las variables que aproximan la actividad de las universidades y selección del modelo de estimación que mejor se ajusta a la naturaleza de producción conjunta).

Con respecto a la elección de la muestra objeto de análisis, y atendiendo a una máxima indiscutible en el ámbito de la evaluación de la eficiencia productiva (que las unidades evaluadas sean homogéneas en cuanto a las actividades que realizan, el entorno en el que lo hacen y los inputs y outputs con los que trabajan), se consideró necesario circunscribir la evaluación a grupos homogéneos definidos en función de la oferta de titulaciones de cada universidad. La razón se encuentra en que las variables de que se dispone para llevar a cabo el análisis (profesorado, gastos, factores de impacto de la investigación, exigencias académi


cas) no son neutrales entre áreas de conocimiento. Es por ello que una evaluación conjunta de todas las UPE hubiera incorporado sesgos muy importantes, restando credibilidad a los resultados obtenidos en la evaluación.

La búsqueda de una evaluación neutral entre áreas de conocimiento orientó especialmente la selección de las variables representativas de la actividad productiva que desarrollan las universidades; en particular, los minuciosos ajustes que se llevaron a cabo para delimitar un indicador de la producción científica que corrigiera los sesgos que conlleva el factor de impacto de las revistas que elabora el Institute of Scientific Information (conocido ampliamente por sus siglas ISI). Las notables diferencias existentes en el modelo de publicación de la investigación entre las diferentes áreas de conocimiento explica que los factores de impacto que aparecen en los Journal of Citation Report de ISI (los conocidos como JCR) favorezcan de manera especial a las áreas científicas en detrimento de las Humanidades y las Ciencias Sociales, aspecto que indudablemente condiciona la evaluación de la actividad científica de las universidades si no se realizan las correcciones pertinentes.

Pero como señalábamos al comienzo de esta última sección, independientemente de las propuestas que en este trabajo se realizan para corregir algunas de las limitaciones que afectan a este tipo de proyectos de evaluación, lo que se ha pretendido con su elaboración ha sido poner en evidencia las notables dificultades asociadas a la evaluación de las universidades y la necesidad de someter los datos disponibles a un minucioso proceso de depuración y corrección antes de incorporarlos a cualquier análisis empírico comparativo.

Y hablando de datos universitarios no podemos sino denunciar su escasez en nuestro país. No deja de sorprender que un sector como el universitario haya sido tan renuente a proporcionar datos acerca de las actividades que realiza, lo que quiebra la relación entre la autonomía universitaria y la ineludible rendición de cuentas a la sociedad que la sostiene. Aunque en los últimos años ha aparecido una serie de estudios que tratan de paliar este déficit, estamos muy lejos de los mínimos que se deberían exigir a las universidades. Por citar algunos ejemplos concretos, la falta de indicadores sobre calidad en los resultados, tanto docentes como investigadores, parece ser un mal endémico en este sector; respecto a los recursos, aunque se dispone de mayor información, ésta es manifiestamente mejorable (datos relativos a profesorado equivalente a tiempo completo por rama de conocimiento, presupuestos desagregados que permitan imputar gastos a actividades concretas). La recopilación y difusión de este tipo de información constituye, sin lugar a dudas, uno de los retos pendientes de nuestro sistema universitario. Ello sin olvidar la necesidad de que se elaboren series temporales de indicadores con criterios homogéneos que permitan realizar análisis más consistentes.

Notas

1. Una extensa aproximación a estas cuestiones puede consultarse en las tesis doctorales de Giménez García (2000) y Trillo del Pozo (2002). La primera de ellas repasa pormenorizadamente los niveles de objetivos de las universidades desde una perspectiva teórica (misión, fines, objetivos y resultados). En la segunda, se comple


menta lo anterior, al analizarse en detalle las funciones fines y objetivos que marcan tanto las leyes como los estatutos de nuestras universidades.

2. Otros informes sobre educación superior muy reconocidos son: el Robbins Comité Report (Committee on Higher Education, 1963) y el informe Dearing (National Committee of Enquiry into Higher Education, 1997) para el Reino Unido; el de la Carnegie Commission (Carnegie Commission on Higher Education, 1974) para Estados Unidos o el Informe Universidad 2000 del profesor Bricall (2000) para España.

3. Los datos proporcionados por el Ministerio se encuentran en Consejo de Coordinación Universitaria y los suministrados por la CRUE en los informes dirigidos por el profesor Hernández Armenteros.

4. La representatividad de la muestra de las revistas en ISI, como reconoce el propio Instituto, es uno de los problemas más graves, ya que al tratarse de un indicador multidisciplinar, el hecho de que algún área pueda no estar incluida o estar subrepresentada afectará necesariamente a todo el sistema elaborado por ISI.

5. No entra dentro del cometido de este artículo el análisis detallado de estos indicadores. Puede accederse sin dificultad a numerosos trabajos que los explican y detallan sus ventajas e inconvenientes. Así por ejemplo, en el caso del Eigenfactor puede acudirse al trabajo de Bergstrom (2007), para el índice H puede consultarse el artículo de Hirsch (2005) o en el caso del indicador de Leiden la publicación de Waltman et al. (2011).

6. En Mancebón Torrubia (1998) se ofrece un análisis detallado de los resultados suministrados por el DEA y de su utilidad como instrumento de gestión pública.

7. Una descripción de las características de esta técnica de evaluación puede verse en Cooper, Seiford, y Zhu (2004).

8. De las diferentes versiones existentes sobre los modelos DEA presentamos la conocida como output oriented, bajo su supuesto de rendimientos constantes a escala. Para mayor detalle sobre los diferentes modelos suministrados en la prolija literatura sobre el DEA puede consultarse Cooper, Seiford, y Zhu (2004) o Thanassoulis (2001).

9. Como señala Mar Molinero, la universidad evaluada se pregunta cómo repartir los recursos compartidos entre la docencia y la investigación. Tomada su decisión, y determinada la combinación de los recursos compartidos, esta combinación es aceptada como dada por el resto de las universidades con las que se compara su actividad.

10. Estos autores señalan que existen cuatro supuestos claves con respecto al conjunto de inputs y outputs seleccionados: primero, deben cubrir todo el rango de recursos empleados; segundo, deben capturar todos los niveles de actividad y medidas de rendimiento; tercero, el conjunto de factores empleados deben ser comunes a todas las actividades y, cuarto, las variaciones ambientales deben ser tenidas en consideración.

11. Tampoco existe un acuerdo unánime en esta regla. Así, por ejemplo, otros autores son más exigentes y sugieren que el número de organizaciones sea al menos el triple de las variables introducidas en la evaluación (McMillan y Datta, 1998).

12. Recuérdese que el número de universidades pertenecientes al grupo de técnicas es de nueve.

13. Se debe señalar que solo se han considerado los titulados en primer y segundo ciclo. Las peculiaridades de los alumnos de doctorado, que comparten atributos de alumnado y de profesorado, han aconsejado su no inclusión en el análisis.

14. Se ha llevado a cabo un análisis clúster tradicional basado en medidas de distancia, con datos estandarizados, tomando la distancia euclídea al cuadrado y empleando como algoritmo de aglomeración el encadenamiento simple basado en el vecino más próximo (Hair et. al., 1999).

15. La tasa media de eficiencia en la actividad docente es 0,750 y en la actividad investigadora es de 0,743.

16. La elaboración del nuevo factor de impacto y su aplicación a los artículos publicados por las Universidades Públicas Españolas para obtener un indicador que cualificará adecuadamente su actividad investigadora fue


muy laborioso, ya que se tuvieron que realizar labores de depuración de un conjunto ingente de datos, tratarlos revista a revista y artículo a artículo para, posteriormente, recalcular cientos de miles de datos (Gómez-Sancho y Mancebón-Torrubia, 2009 y 2010).

17. Desde 1990 se han fundado las siguientes universidades públicas en España: en 1990 la Pompeu Fabra; en 1991 las de Girona, Jaume I de Castellón, Lleida y la Rovira i Virgili de Tarragona; en 1993 las de Almería, Huelva, Jaén y la de La Laguna en Tenerife; en 1994 la de Burgos; en 1996 la Miguel Hernández de Elche y la Rey Juan Carlos de Madrid; en 1997 la Pablo Olavide de Sevilla y en 1998 la Politécnica de Cartagena.

18. Las universidades más recientes son penalizadas en el sentido de que han transcurrido pocos años desde la puesta en marcha de sus titulaciones por lo que su número de titulados (medida del output docente) es menor. Algo parecido sucede al evaluar la investigación, ya que la misma conlleva un período de gestación de varios años.

19. El proceso de creación del Espacio Superior Europeo está modificando la configuración de estos estudios decisivamente. Una parte importante de los estudios propios han pasado a ser títulos oficiales reconocidos tras la correspondiente acreditación.

Bibliografía

Aksnes, D. W. (2006): «Citation rates and perceptions of scientific contribution», Journal of the American Society for Information Science and Technology, núm. 57 (2), pp. 169-185.

Abbott, M. y Doucouliagos, C. (2003): «The efficiency of Australian universities: a data envelopment analysis», Economics of Education Review, núm. 22, pp. 89-97.

Agasisti, T. y Johnes, G. (2009): «Beyond frontiers; comparing the efficiency of higher education decision-making unit across more than one country», Education Economics, vol. 17, núm. 1, pp. 59-79.

Ahn, T.; Arnold, V.; Charnes, A. y Cooper, W. W. (1989): «DEA and ratio efficiency analysis for public institutions of higher learning in Texas», Research in Governmental and Nonprofit Accounting, núm. 5, pp. 165-185.

Ahn, T. y Seiford, L. M. (1993): «Sensitive of DEA to Models and Variable Sets in a Hypothesis Test Setting: The Efficiency of University Operations», en Ijiri, Y. (editor): Creative and Innovative Approaches to the Science of Management, New York, Quorum Books, pp. 191-208.

Archambault, E.; Vignola-Gagne, E.; Cote, G.; Larivière, V. y Gingras, Y. (2006): «Benchmarking scientific output in the social sciences and humanities - The limits of existing databases». Scientometrics, núm. 68 (3), pp. 329-342.

Avrikan, N. K. (2001): «Investigating technical and scale efficiencies of Australian Universities through data envelopment analysis», Socio-Economic Planning Sciencies, núm. 35, pp. 57-80.

Banker, R.; Charnes, A. y Cooper, W. W. (1984): «Models for estimating technical and scale efficiencies in data envelopment analysis», Management Science, núm. 30, pp. 1078-1092.

Beasley, J. E. (1990): «Comparing University Departments», OMEGA - International Journal of Management Science, núm. 18 (2), pp. 171-183.

Beasley, J. E. (1995): «Determining Teaching and Research Efficiencies», Journal of the Operational Research Society, núm. 46, pp. 441-452.

Bergstrom, C. T. (2007): «Eigenfactor: Measuring the value and prestige of schollrly journals», College and Research Libraries News, núm. 68 (5), pp. 314-316.


Bricall, J. M. (2000): «Informe Universidad 2000», Conferencia de Rectores de las Universidades Españolas (CRUE).

Carnegie Commission on Higher Education (1974): «A Digest of Reports of the Carnegie Commission on Higher Education: With an Index to Recommendations and Suggested Assignments of Responsibility for Action», McGraw-Hill, New York.

Charnes, A.; Cooper, W. and Rhodes, E. (1978): «Measuring the efficiency of decision-making units», European Journal of Operational Research, núm. 2, pp. 429-444.

Committee of Vice-Chancellors and Principals of the Universities of the United Kingdom (A. Jarrat Chairman) (1985): «Report of the Steering Committee for Efficiency Studies in Universities», Committee of Vice-Chancellors and Principals of the Universities of the United Kingdom. Steering Committee for Efficiency Studies in Universities, London, UK.

Committee on Higher Education (1963): «Higher education: report of the Committee appointed by the prime-Minister under the chairmanship of Lord Robbins», HMSO.

Consejo de Coordinación Universitaria (MECD) (2002): Estadística universitaria. Período 1994-2001, Secretaría General Técnica de la Subdirección General de Información y Publicaciones.

Cooper, W. W.; Seiford, L. M. y Zhu, J. (2004): Handbook on Data Envelopment Analysis. Springer. N.Y.

Diez-Ticio, A. y Mancebón, M. J. (2002): «The efficiency of the Spanish police service: an application of the multiactivity DEA model», Applied Economics, núm. 34, pp. 351-362.

Dyson, R. G.; Allen, R.; Camanho, A. S.; Podinovski, V. V.; Sarrico, C. S. y Shale, E. A. (2001): «Pitfalls and protocols in DEA», European Journal of Operational Research, núm. 132, pp. 245-259.

Hernández Armenteros, J. (coordinador) (2002): La universidad española en cifras (2002). Información académica, productiva y financiera de las universidades públicas españolas, Indicadores universitarios, Madrid, Conferencia de Rectores de las Universidades Españolas.

Garfield, E. (1996): «How can impact factors be improved?», British Medical Journal, núm. 313, pp. 411-413.

Giménez García, V. M. (2000): «Eficiencia en costes y calidad en la universidad. Una aplicación a los departamentos de la UAB», tesis doctoral, Universitat Autònoma de Barcelona.

Glänzel, W. y Moed, H. F. (2002): «Journal impact measures in bibliometric research», Scientometrics, núm. 53(2), pp. 171-193.

Gómez Sancho, J. M. y M. J. Mancebón (2005): «Algunas reflexiones metodológicas sobre la evaluación de la eficiencia productiva de las instituciones de educación superior», Ekonomiaz, n.º 60, vol. I, 3.er cuatrimestre, pp. 141-166.

Gómez Sancho, J. M. y M. J. Mancebón (2008): «Una propuesta de clasificación de las universidades públicas españolas en grupos comparables en los estudios de evaluación institucional», Revista Asturiana de Economía-RAE, núm. 41, pp. 85-108.

Gómez-Sancho, J. M. y Mancebón-Torrubia, M. J. (2009), «The evaluation of scientific production: Towards a neutral impact factor», Scientometrics, núm. 81(2), pp. 435-458.

Gómez-Sancho, J. M. y Mancebón-Torrubia, M. J. (2010): «A new approach to measuring scientific production in JCR journals and its application to Spanish public universities», Scientometrics, núm. 85 (1), pp. 271-293.


Hair Jr. J. F.; R. E. Andeson, R. L. Tatham y W. C. Black (1999): Análisis Multivariante, 5.ª edición, ed. Prentice Hall Iberia, Madrid.

Hirsch, J. E. (2005): «An index to quantify an individual’s scientific research output». Proceedings of the National Academy of Sciences of the United States of America, vol. 102 (46), pp. 16569-16572.

Mancebón Torrubia, M. J. (1998): «La riqueza de los resultados suministrados por un modelo envolvente de datos: una aplicación al sector de la educación secundaria», Hacienda Pública Española, núm. 145, pp. 165-186.

Mar Molinero, C. (1996): «On the Joint Determination of Efficiencies in a Data Envelopment Analysis Context», Journal of the Operational Research Society, núm. 47, pp. 1273-1279.

Mar Molinero, C. y Tsai, P. F. (1997): «Some mathematical properties of a DEA model for the joint determination of efficiencies», Journal of the Operational Research Society, núm. 48, pp. 51-56.

Martínez Cabrera, M. (2000): «Análisis de la eficiencia productiva de las instituciones de educación superior», Papeles de Economía Española, núm. 86, pp. 179-191.

McMillan, M. L. y Datta, D. (1998): «The Relative Efficiencies of Canadian Universities: A DEA Perspective», Canadian Public Policy - Analyse de Politiques, vol. XXIV, núm. 4, pp. 485-511.

Moed, H. F. (2002): «The impact-factors debate - The ISI’s uses and limits», Nature, núm. 415, pp. 731732.

Mueller, P. S.; Murali, N. S.; Cha, S. S.; Erwin, P. J. y Ghosh, A. K. (2006): «The association between impact factors and language of general internal medicine journals», Swiss Medical Weekly, núm. 136 (27/28), pp. 441-443.

National Committee of Enquiry into Higher Education (Ron Dearing Chairman) (1997): «Higher education in the learning society», Her Majesty’s Stationery Office, London.

Ng, Y. C. y Li, S. K. (2000): «Measuring the Research Performance of Chinese Higher Education Institutions: An Application of Data Envelopment Analysis», Education Economics, núm. 8 (2), pp. 139-156.

Seglen, P. O. (1997): «Why the impact factor of journals should not be used for evaluating research», British Medical Journal, núm. 314 (7079), pp. 498-502.

Sinuany-Stern, Z.; Mehrez, A. y Barboy, A. (1994): «Academic departmentsefficiency via DEA», Computers & Operations Research, núm. 21 (5), pp. 543-556.

Sombatsompop, N.; Markpin, T. y Premkamolnetr, N. (2004): «A modified method for calculating theimpact factors of journals in ISI Journal Citation Reports - Polymer science category in 19972001», Scientometrics, núm. 60 (2), pp. 235-271.

Thanassoulis, E. (2001): Introduction to the Theory and Application of Data Envelopment Analysis. Kluwer Academic Publishers. Massachusetts.

Trillo del Pozo, D. (2002): «La función de distancia: Un análisis de la eficiencia en la universidad», tesis doctoral, Universidad Rey Juan Carlos de Madrid.

Thanassoulis, E.; Kortelainen, M.; Johnes, G. y Johnes, J. (2011): «Costs and efficiency in higher education institutions in England: a DEA analysis», Journal of the Operational Research Society, núm. 62, pp. 1282-1297.

Tsai, P. F. y Mar Molinero, C. (2002): «A variable returns to scale data envelopment analysis model for the joint determination of efficiencies with an example of the UK health service», European Journal of Operational Research, núm. 141, pp. 21-38.


Vázquez Rojas, María Angélica (2011): Eficiencia técnica y cambio de producitividad en la educación superior pública: un estudio aplicado al caso español (2000-2009), tesis doctoral, Universidad Autónoma de Madrid.

Wallin, J. A. (2005): «Bibliometric methods: Pitfalls and possibilities». Basic & Clinical Pharmacology & Toxicology, núm. 97 (5), pp. 261-275.

Waltman, L.; Van Eck, N. J.; Van Leeuwen, T. N.; Visser, M. S. y Van Raan, A. F. J. (2011): «Towards a new crown indicator: Some theoretical considerations», Journal of Informetrics, núm. 5(1), pp. 37-47.

Whitehouse, G. H. (2002): «Impact factors: facts and myths». European Radiology, núm. 12 (4), pp. 715-717.

Worthington, A. C. y Lee, B. L. (2008): «Efficiency, technology and productivity change in Australian universities 1998-2003», Economic of Education Review, núm. 27, pp. 285-298.

Yu, M. M. y Lin, E. T. J. (2008): «Efficiency and effectiveness in railway performance using a multiactivity network DEA model», Omega, núm. 36, pp. 1005-1017.

Zitt, M. y Small, H. (2008): «Modifying the journal impact factor by fractional citation weighting: The audience factor», Journal of the American Society for Information Science and Technology, núm. 59 (11), pp. 1856-1860.

JOSÉ MARÍA GÓMEZ SANCHO

Documents

Transcript of JOSÉ MARÍA GÓMEZ SANCHO