domingo, 11 de julio de 2010

Ranking Universitario Iberoamericano

El grupo de investigación SCImago publicó en Junio de 2010 un informe sobre la actividad de investigación de las universidades iberoamericanas, que puede bajarse en Español desde esta dirección. El ranking se basa en el número de publicaciones científicas de cada institución más un par de indicadores que tienen en cuenta de forma parcial la calidad de dichas publicaciones. Este informe me da la oportunidad de iniciar la publicación de artículos en este blog que, como se destaca en la página de Propósito, va a estar dedicado a hablar sobre el (futuro) Sistema Universitario Nacional (SUN) de Uruguay.
El informe tiene datos interesantes en tres aspectos. Uno es el lugar que ocupa Uruguay en este ranking particular, respecto a los demá países de América, España y Portugal. Otro es el lugar particular que ocupa nuestra máxima casa de estudios, la UdelaR, al compararla con otras universidades iberoamericanas. Y, finalmente, el hecho de ser el primer ranking conocido que no sólo lista a la UdelaR sino también las universidades privadas. En este artículo quiero reflexionar sobre los primeros dos aspectos, dejando el tercero para una próxima oportunidad. Sabemos que Uruguay posee pocas universidades, un aspecto que espero comentar en algún otro artículo próximo. Frente a las 109 de Brasil, las 49 de Argentina y las 46 de Chile, Uruguay sólo tiene 4, de las cuales una hace algo así como el 90% del sistema. 

Consecuentemente, no es dable esperar que Uruguay figure en los primeros puestos de número de publicaciones científicas y, claro, no lo hace, como se puede ver en la figura de la izquierda. No obstante, la producción científica uruguaya se encuentra por encima de la de un país similar, como Costa Rica, y otro de población mucho mayor, como Perú.

Sin embargo, hay otra forma de mirar esto. Dado que parece razonable suponer que a iguales condiciones de desarrollo socio-económico, un país con población mayor tenderá a tener un número mayor de científicos y de publicaciones, podemos normalizar la producción por la cantidad de habitantes, obteniendo entonces un gráfico un tanto diferente. España y Portugal lideran por lejos esta estadística, mientras que en América es Chile quien pasa ahora a ser el más productivo. Puerto Rico y Chile quedan en la zona de 1000 a 1500 publicaciones por millón de habitantes, mientras que Uruguay, junto a Brasil, Argentina y Trinidad y Tobago, quedan en la zona de 500 a 1000 publicaciones por millón de habitantes. Puesto de esta manera, Uruguay es más productivo que Perú y Costa Rica, como antes, pero ahora tambíen supera a un gigante como México, al igual que a Colombia, Cuba y Venezuela.

A los efectos de reflexionar sobre la UdelaR y su lugar en el ranking, vamos a considerar un conjunto de universidades seleccionadas de la siguiente forma: las primeras once de Iberoamérica (11 en lugar de las 10 primeras, para incluir también a la UBA) y las que estén razonablemente cerca de la UdelaR, pero arriba en el ranking. En la Tabla debajo se muestran estas universidades.

El significado de las distintas columnas es el siguiente. IBE es el ranking de la universidad entre las iberoamericanas, mientras que LAC es el ranking sin considerar las universidades de España y Portugal. El nombre de la universidad, el país en que se encuentra y el acrónimo empleado están en las siguientes tres columnas. Finalmente, las últimas tres columnas contienen el número de artículos publicados en el período 2003-2008 y dos indicadores que tienen que ver con la calidad de las publicaciones. El propio informe define estos indicadores de la siguiente forma.

CCP::Calidad Científica Promedio
Impacto científico de una institución después de eliminar la influencia del tamaño y el perfil temático de la institución. El CCP permite comparar la “calidad” de la investigación de instituciones de diferentes tamaños y con distintos perfiles de investigación. Una puntuación de 0.8 significa que una institución es citada un 20% menos que la media mundial. Un valor de 1.3 indica que la institución es citada una 30% más que la media mundial.
Q1::Porcentaje de Publicaciones en Revistas del Primer Cuartil SJR
Indica el porcentaje de publicaciones que una universidad ha conseguido colocar en revistas incluidas en el primer cuartil ordenadas por el indicador SJR. El ranking Q1 muestra la cantidad de publicaciones que las universidades publican dentro del conjunto compuesto por el 25% de las revistas más influyentes del mundo. El indicador SJR mide la influencia o prestigio científico de las revistas mediante el análisis de la cantidad y la procedencia de las citas que recibe una revista científica. Su uso se ha extendido a través del portal SCImago Journal & Country Rank y es utilizado por Elsevier, la editorial científica líder mundial, en su índice de citas Scopus.
Es importante decir que estos índices están correlacionados, de forma que a un mayor Q1 corresponde un mayor CCP, tal como se ve en la siguiente gráfica, donde se observa que la UdelaR --la estrella anaranjada-- está situada exactamente sobre la curva de correlación y en una posición bastante destacada (está 71/607 en el IBE y 32/489 en el LAC, pero más arriba si se considera la calidad).


Considerando la calidad entonces de las publicaciones, pero sólo en el espacio de muestras que seleccionamos, vemos que la calidad de la UdelaR es bastante alta. En efecto, si consideramos sólo el CCP, vemos que la UdelaR es la primera de las americanas en aparecer en el ranking, a continuación de las españolas, que son las que figuran en las primeras posiciones. 

Si consideramos en cambio el Q1, hay una variación en el ordenamiento. La Universidad Nacional de Córdoba y la UBA, pasan por delante de la UdelaR y, en el caso de la UNC, pasa incluso por delante de un par de universidades españolas. En ninguno de los dos casos figura ninguna de las universidades brasileras por encima de la UdelaR o la UBA, y en ambos casos la UdelaR queda entre las 10 primeras universidades consideradas, nuevamente hablando en términos de calidad.

Consideremos ahora el ítem de cantidad de artículos. De la misma forma que para los países, es bastante obvio que la producción científica de una universidad dependerá de la cantidad de docentes que publiquen. También parece razonable pensar que puede depender del presupuesto de dicha universidad y de la carga docente que tengan los investigadores. Por ello hemos recolectado la información de número de docentes, número de estudiantes y presupuesto anual en dólares para cada una de las instituciones que estamos considerando. Se muestra en la siguiente tabla.


Quizá lo que resulta más evidente de la Tabla es que el presupuesto de la UdelaR es casi el más chico de todos los registrados, así que no sería inapropiado pensar que la razón para publicar pocos artículos esté relacionada con la insuficiencia presupuestal. De hecho, mirando la gráfica de la izquierda, se ve que existe una relación exponencial entre el presupuesto de la universidad y la producción de artículos aunque también se nota una gran dispersión (doblar la cantidad de artículos científicos de la UdelaR simplemente correría muy poquito hacia arriba el punto rojo de la gráfica, no afectando la correlación).
Otra manera de juzgar el impacto del dinero disponible sobre el número de artículos publicados es juzgar el "costo" de las publicaciones, entendiendo por ello un índice muy simple de presupusto total dividido número de publicaciones. Eso es lo que se muestra en la gráfica de la derecha, donde se observa que el mencionado costo para la Udelar es el doble que para la USP. De hecho, las universidades más productivas que la UdelaR se ven en la cola de la gráfica, implicando nuevamente que con el mismo presupuesto podría fácilmente doblarse el número de artículos publicados si se aumentara la eficiencia.

Que estamos ante un problema de eficiencia lo podemos constatar mirando algunos gráficos más. En primer lugar miremos lo que pasa con el número de publicaciones por docente de cada universidad, en la gráfica de la izquierda. Súbitamente ahora las universidades más antiguas, más tradicionales y de alguna manera más "grandes" de los países iberoamericanos son las que quedan situadas en la cola de la distribución. La producción promedio de un docente de la UdelaR (0.3 artículos) fue veinte veces menor que la producción promedio de un docente de la USP (7.0 artículos).

¿Será lo anterior debido a que los docentes de la UdelaR tienen que trabajar más que los de la USP? Una forma de mirar esto es observando la relación de estudiantes por profesor en cada una de las universidades. Eso se muestra en la gráfica de la derecha. Y lo que surge es que en promedio la UdelaR es de las universidades más favorecidas entre las estudiadas, ya que tiene prácticamente la mitad de alumnos por profesor que la Universidad de Barcelona, y un 40% menos que la USP. Claro que a la interna de las universidades hay situaciones enteramente diferentes, pero la comparación global muestra que en todo caso es un problema interno de repartición de recursos humanos, pero a nivel de universidad, la UdelaR no está mal parada respecto a este factor.

Por otra parte, considerando lo que ya dijimos respecto a la forma en que el presupuesto global de la universidad afecta a la producción de artículos, podemos ver cuánto dinero del presupuesto está "disponible" por docente, como un indicador bastante simple de las posibilidades individuales de hacer investigación (para lo que, obviamente, se necesita dinero). Lo que muestra la gráfica a la izquierda es que la UdelaR es efectivamente una de las más desfavorecidas en cuanto a dinero de presupuesto por profesor. De hecho, lo que se ve en esta gráfica es que quienes están en la cola de la distribución son los mismos que están en la cola de producción de papers.

Considerando entonces lo discutido con anterioridad, podemos pensar que lo que sucede con la UdelaR (al igual que con la UBA, la UNAM o la UCV) es que son universidades "gordas" con baja productividad promedio por profesor, con demasiados docentes en relación a su presupuesto y con una relación alumno/docente baja si se compara con las universidades más productivas. Para poner el ejemplo que nos atañe a nosotros, una reducción del número de docentes en la universidad a un 70% del actual haría aumentar el factor de estudiantes por docentes a 14 (la USP tiene 16). Al disponer de más dinero presupuestal por docente, la productividad aumentaría del orden de 1/3 y pasaríamos de 2300 artículos a unos 3100, lo que llevaría a la UdelaR de la posición 32 a la posición 24 en Latinoamérica y el Caribe.

Por supuesto que lo anterior es simplemente una especulación, pero lo que sí parece desprenderse coherentemente de los datos es que es necesario, al menos desde el punto de vista de la investigación científica, aumentar notoriamente la productividad por docente y parece razonable concluir que ello puede hacerse poniendo a la UdelaR "a dieta".

6 comentarios:

David Gonzalez dijo...

Hola,

Muy interesante el análisis. Me queda una duda. Al estimar el numero de "profesores" en la udelar utilizaste el número de G3-G5 o el total de la plantilla (G1-G5). En nuestra universidad colocamos a los ayudantes y asistentes en la plantilla docente mientras que en la mayoria de las universidades modernas esas personas figurarían, probablemente, en el grupo de "estudiantes graduados". Saludos

Néstor dijo...

Hola David,

Es el total de los docentes G1-G5. La razón es que (a) publican, y muchas veces solos, (b) en muchas Facultades (no es la situación general en Química) están topeados de avanzar porque no hay grados superiores, y (c) la comparación es con las Universidades iberoamericanas, donde en general no se da lo de "universidades modernas".

De cualquier manera es perfectamente posible refinar el análisis si uno quisiera, sólo que s necesitan datos más profundos de las Universidades con las que compararíamos a la Udelar.

Saludos.

Diego dijo...

Viejo excelente la idea, como siempre un deleite leerte.

Abrazou

Bruno Vuan dijo...

Hola Néstor,

Me resulta una excelente iniciativa, bienvenida sea.

A mi como en lo personal me pesan otras prioridades, tengo una hija universitaria, una que lo será a partir del año que viene y la más chica en tres años, como que me pesan más otras preocupaciones más que la producción académica, sin dejar que reconocer que es más que importante.

Y seguramente en algún momento publicarás algún artículo sobre la eficiencia del gasto universitario en relación con las graduaciones. Que si bien se pueda discutir, creo que es una responsabilidad universitaria anterior a la de la investigación.

Y viendolo de afuera, convengamos que los resultados son terriblemente malos y hablan de un tema estructural que todo el mundo elude. Si tenemos un sistema educativo que basa su sustentabilidad en altísimos niveles de fracaso sistemático en los primeros años, creo que estamos ante un grado de algo que por las dudas prefiero no calificar, absolutamente intolerable, pero que de hecho lo es.

Y en eso toda la Universidad estatal, y toda las entidades estatales que son tanto o más responsables de lo que se hace con los jóvenes primero y con los dineros públicos después -salvo honrosas excepciones- mira para el costado.

Aclaro dicho de paso que discrepo con la idea del autogobierno universitario, donde están deliberadamente excluidos de las decisiones los ciudadanos de a pie que con sus impuestos pagan sus gastos, y de los cuales la inmensa mayoría no puede hacer uso de sus servicios educativos, que a mi juicio son los más relevantes.

Uno puede entender que ante circunstancias presupuestales que se consideran insuficientes, se termine en verdaderas estrategias de sobrevivencia como las que padece la educación universitaria.

Y no es que el tema no se esté resolviendo, el título que le das al blog me recuerda mucho al del Sistema Nacional de Salud.

En la Salud Pública desde tiempo inmemorial se generaron desde fuera del Estado, -quizás no es una exageración decir que los generó el mercado- respuestas que el Estado no fue capaz de dar. Así llegamos hace unos años a que los propios funcionarios del MSP reclamaran cuota mutual. Esa situación fue blanqueada con el SNP.

Tiendo a pensar que en la educación estamos en un proceso similar, probablemente más lento porque los docentes tienden a ser más principistas y menos pragmáticos que los médicos.

Es cuestión de tiempo para que algunos sindicatos no empiecen a reclamar cuota del colegio o cosas por el estilo.

Y así tendremos Sistema Nacional de Educación, no sólo universitario.

Saludos,

Bruno


PD.: Mis disculpas por mi grosero off topic. Por el tema de fondo, probablemente tus conclusiones sean correctas, aunque tiendo a ser muy desconfiado con las correlaciones.

Además respecto a la producción académica, estoy cansado de ver en temas que domino, decenas de tesis y papers que no pasan del estadio de la revisión bibliográfica y algún aporte muy marginal e irrelevante, y esto proveniendo de universidades top del primer mundo, con lo cual se me hace bravo sacar conclusiones definitivas.

Diegogmx dijo...

Interesante,
yo ahora estoy en 5º de liceo en el iava (ori cientifica).
Ademas de que hayan clases con 500 alumnos en los primeros niveles, vos cuales crees que son los problemas que generan semejante fracaso?

que porcentaje de gente "queda en el camino" en relacion a la que entra?

Néstor dijo...

Gracias Bruno y Diego por los comentarios, que hacen más a otro aspecto de la cosa, la eficiencia en la educación de los estudiantes.

La labor universitaria tiene básicamente tres componentes, enseñanza, investigación y extensión. Mientras que la primera sirve para la formación de profesionales y/o científicos, la segunda sirve no sólo para generar nuevo conocimiento, sino también para enseñar mejor y formar a los futuros cuadros docentes del propio sistema. Existen muchas formas de medir la productividad de la investigación y, si bien tiene muchos defectos, aquella basada de una u otra forma en la producción publicada es la que da mejores resultados. Un científico no es únicamente aquél que produce ciencia sino quién la comunica efectivamente.

Desde luego que las correlaciones pueden ser azarosas. Todos sabemos que el hecho de que dos variables correlacionen no implica necesariamente que haya una relación causa-efecto. Sin embargo, a falta de oposición a los argumentos que presento, tiendo a creer que mis correlaciones en este artículo son válidas. Por supuesto, estoy abierto a la discusión, ya que esto se planteó en un intercambio con colegas sobre el "ranking" de Universidades y el focalizarse específicamente sobre la investigación es algo que favorece netamente a la UdelaR.

A continuación veremos otro artículo, pero ahora situándonos en el polo opuesto, el de la enseñanza y la eficiencia relativa en la formación de estudiantes que tienen los subsistemas público y privado de educación superior.