Los nuevos índices de citas de Thomson Reuters ofrecen nuevas oportunidades para mejorar los rankings de universidades
Por: Nicolás Robinson-Garcia y Daniel Torres-Salinas
Publicado en IWETEL el viernes 16 de enero de 2015
Próximamente se publicará esta entrada en ThinkEPI
Los últimos en llegar: El Book Citation Index y el Data Citation Index
En los últimos años el mundo de la bibliometría ha experimentado novedades muy importantes como resultado de un proceso de adaptación paulatino a los cambios tecnológicos y de difusión de la ciencia. Además de la aparición de nuevos indicadores alternativos (Altmetrics) y bases de datos (Google Scholar) también se ha buscado la posibilidad de calcular indicadores bibliométricos tradicionales para otro tipo de resultados científicos: los libros y los datos de investigación. Thomson Reuters ha incorporado a sus clásicos índices de citas de revistas (SCI, SSCI y A&HCI) y de actas de congresos (CPCI-S y CPCI-SSH), dos nuevos índices de citas: el Book Citation Index (BKCI) [1] y el Data Citation Index (DCI) [2]. Por tanto ahora se abarcan otros formatos de publicación, algunos no tan nuevos, pero que hasta el momento habían sido omitidos de los estudios bibliométricos por la ausencia de fuentes de información.
Consideramos que estos nuevos índices podrían abrir la puerta a otro tipo de estudios que reflejen de forma más fidedigna la producción y el impacto de países, investigadores y, especialmente, universidades, debido sobre todo al debate surgido en los últimos años sobre los rankings universitarios. Una de las críticas habituales que reciben es el uso preferente de los índices de revistas de Thomson, heredando sus limitaciones de cobertura temática, geográfica, lingüística, etc., tal y como refiere Delgado López-Cózar (2012). Esta situación perjudica principalmente a las universidades especializadas en Humanidades, Sociales y, en menor medida, Ingenierías; con comunidades y medios de comunicación singulares. Este hecho mencionado en múltiples trabajos y ha llevado a plantear ranking específicos para éstas áreas (van Raan, van Leeuwen y Visser, 2011) y a la revindicando de que se consideren otras tipologías documentales, especialmente los libros (Ruffel y Porzak, 2011). Sin embargo, estos nuevos índices abren nuevas ventanas de mejora para subsanar algunos de estos problemas.
En esta breve nota ofrecemos una primera aproximación en la utilización de todos los índices de citas en su conjunto. Para ello, en primer lugar analizamos la presencia que tienen los distintos países en cada uno de estos índices de citas durante el periodo 2010-2014. Después, hacemos lo mismo para las universidades españolas. Finalmente, comentamos las nuevas oportunidades que plantean así como las limitaciones que actualmente presentan dichas herramientas para la elaboración de este tipo de productos y reflexionamos sobre la influencia que pueden tener este tipo de productos en el desarrollo futuro de herramientas de evaluación científica. Aunque en este Thinkepi ofrecemos en las tablas una pequeña muestra los datos completos de este análisis están disponibles en Robinson-García y Torres-Salinas (2015).
Ejemplos por países y universidades españolas
En la Tabla 1 se muestra la producción y posición que ocupan los 10 países que más publicaciones (article y reviews) tienen en los índices de revistas (SCI, SSCI y A&HCI) así como en el resto de índices de citas de Thomson. Como vemos, en todos ellos España se sitúa en posiciones similares (entre la posición 9 y 13). No obstante, se observan diferencias importantes, en especial con los países con un marcado carácter tecnológico como Japón o los BRICs (China o India), donde su presencia es menor en el BKCI y el DCI y más marcada en el CPCI.
Si analizamos la posición de las universidades españolas, observamos diferencias importantes en función del índice de citas analizado. La principal se produce en las universidades politécnicas (Catalunya, Valencia y Madrid) que lógicamente ocupan las posiciones preferentes en el Conferece Proceeding Citation Index. Por lo que capta el perfil tecnológico de las universidades de forma ajustada.
El Data Citation Index nos permite obtener el retrato de aquellas que comparten un mayor número de datos y está asociado sobre todo a universidades con una orientación más Biomédica y especialmente a aquellas vinculadas a las áreas de Bioquímica Molecular y Genética. En cualquier caso los rankings según datos apenas tienen que ver con los de revistas como demuestra la correlación de 0,389 y 0,369 que tienen éstas con los data sets y data studies. En cuanto al BKCI, ofrece en sus posiciones superiores un retrato similar al ranking de revistas con alguna variación como la caída del País Vasco y Granada, aunque la similaridad con el ranking de revistas, en el caso de los capítulos, es alta (0,972).
Oportunidades futuras y limitaciones presentes
La inclusión de nuevos índices de citas nos pueden ayudar a analizar la actividad científica de agentes que no emplean la revista científica como principal medio de comunicación abriendo nuevas oportunidades para desarrollar análisis y metodologías que retraten de manera más exacta la actividad investigadora de las universidades. En este sentido, la inclusión del Book Citation Index y el Data Citation Index unido al anterior de conferencias, medirían dimensiones y características diferentes de la investigación que se escapan de los análisis enfocados únicamente a la producción en revistas.
No obstante, los nuevos índices de citas todavía presentan limitaciones muy importantes al encontrarse aún en un estado prematuro como herramientas de evaluación científica. Tal y como indicamos en trabajos anteriores, (Torres-Salinas y otros; 2014), el Book Citation Index tiene un fuerte sesgo idiomático hacía el inglés, además de una concentración importante de los grupos editoriales más grandes que impide la presencia de obras de importancia publicadas en editoriales nacionales, si bien la cobertura temática de las Humanidades y las Sociales es significativa.
El Data Citation Index está claramente orientado hacia las Ciencias Duras, con cuatro repositorios temáticos representando dos tercios de la base de datos (Torres-Salinas, Martín-Martín y Fuente-Gutiérrez; 2014). Además, hay que señalar que el 97.5% de los registros de libros del BKCI no ofrecen información de países. Lo mismo sucede con el 25.0% de los capítulos de libro, el 73.2% de los data sets y el 84.8% para data studies. Estas cifras contrastan enormemente con las de los índices de citas de revistas (1.4%) y congresos (1.9%).
Reflexión final
La inclusión de nuevos productos científicos como son los datos de investigación, las actas de congresos y las monografías, ayudan a completar el perfil de publicación y la orientación de las universidades, sin la necesidad de circunscribirnos únicamente a un tipo de publicación científica: el artículo de revista. De esta forma se podrían salvar algunas de las habituales críticas que reciben los rankings de universidades al obviar tipologías documentales básicas.
Cuando estos productos mejoren en sus coberturas, sobre todo en lo referido al Book Citation Index, podremos captar mejor la producción de ámbitos como las Humanidades ignorados en la mayor parte de los rankings. Asimismo los rankings basados en datos ayudan a señalar aquellas universidades más proactivas a la hora de compartir información y adaptarse a los nuevos canales de comunicación. Por último hemos visto cómo el CPCI capta de forma más fidedigna la producción de universidades técnicas.
En definitiva, una vez que estas fuentes de información superen las importantes limitaciones que actualmente presentan pueden ser idóneas para generar una segunda generación de rankings de universidades en un contexto internacional.
Notas
- http://wokinfo.com/products_tools/multidisciplinary/bookcitationindex/
- http://wokinfo.com/products_tools/multidisciplinary/dci/
Referencias
Delgado López-Cózar, E. (2012). “Cómo se cocinan los rankings universitarios”. Dendra Médica, vol. 11, n. 1, 43-58.
Torres-Salinas, Daniel; Cabezas-Clavijo, Álvaro. “Altmetrics: no todo lo que se puede contar, cuenta”. Anuario ThinkEPI, 2013, v. 7, pp. 114-117
Torres-Salinas, Daniel; Martín-Martín, Alberto; Fuente-Gutiérrez, Enrique (2014). “Analysis of the coverage of the Data Citation Index – Thomson Reuters: disciplines, document types and repositories”. Revista Española de Documentación Científica, vol. 37, n. 1, e036
Torres-Salinas, Daniel; Robinson-García, Nicolás; Campanario, Juan Miguel; Delgado López-Cózar, Emilio (2014). “Coverage, specialisation and impact of scientific publishers indexed in the Book Citation Index”. Online Information Review, vol. 38, n. 1, 24-42
Robinson-García, Nicolás; Torres-Salinas, Daniel (2015). “Countries and universities rankings of their research output according to Thomson Reuters’ citation indexes. 2010-2014”. http://dx.doi.org/10.6084/m9.figshare.1287652
Ruffel, Lionel; Porzak Simon (2011). “Do Books Have a Place in a Shanghai World?”. Qui Parle: Critical Humanities and Social Sciences, vol. 20, n. 1, 77-92
van Raan, Anthony F. J.; van Leeuwen, Thed N.; Visser, Martijn (2011). “Severe language effect in university rankings: particularly Germany and France are wronged in citation-based rankings”. Scientometrics, vol. 88, 495–498