1985: Cinco lecciones inmortales de Moed para bibliómetras profesionales
Daniel Torres-Salinas – Universidad de Granada
https://orcid.org/0000-0001-8790-3314
1. La Escuela Bibliométrica Europea
El artículo que desglosamos es una de las primeras propuestas de cómo se podrían evaluar universidades o centros de investigación con indicadores bibliométricos. Asimismo, debe ser considerado como uno de los trabajos seminales, es decir aquellos que ponen la semilla para todos los desarrollos posteriores, de la Bibliometría Evaluativa. Por último, el texto pone a rodar lo que autodenomino Escuela Bibliométrica Europea, en contraposición a la americana, ya que se proponen soluciones métricas singulares y alternativas a las contribuciones previas de estadounidenses como Garfield, Small o Narin. El logro de la obra reseñada radica en exponer por vez primera, con precisión artesana, como se han calculado indicadores bibliométricos para ayudar a tomar decisiones a gestores universitarios. Nos encontramos también ante el trabajo que sienta las bases del CWTS: el centro de investigación y empresarial bibliométrico más importante a nivel europeo.
El artículo tiene como autores principales a Henk F. Moed y Anthony Van Raan, dos matemáticos que en 1981 están testeando novedosas técnicas cuantitativas que tal vez ayuden a distribuir fondos en la Universidad de Leiden. Dicha universidad se encuentra en una tesitura importante ya que están perdiendo alumnos y deben buscar un nuevo sistema de financiación y distribución de recursos económicos entre sus grupos de investigación. La idea es basarlo en los proyectos de investigación y los resultados que alcanzan. Los dos jóvenes matemáticos desarrollan un marco evaluativo para grupos considerando como variables las publicaciones y citas. Para ello recurren a las incipientes técnicas bibliométricas que se estaban popularizando, sobre todo a raíz de la comercialización de índices de citas (SCI) y rankings de revistas (JCR). Este experimento es los que cuentan en el artículo y de su lectura hemos extraído cinco lecciones que nos dan luz y recuerdan como debemos afrontar nuestra práctica profesional.
2. Lecciones para bibliométras profesionales
– Lección 1. Las citas no son calidad, son impacto
El artículo presenta diversas disertaciones sobre que significan las citas sin que en ningún momento se equiparen éstas a la calidad de los trabajos científicos. Para Moed et. la calidad intrínseca de las contribuciones científicas se sustenta sobre cualidades cognitivas y/o metodológicas y éstas solo pueden ser evaluadas por los propios científicos. Para los autores las citas reflejan impacto e influencia y, matizan, que éstos suelen producirse cuando hay cierta calidad acompañada de determinados factores sociales. Por tanto, desde estos primeras análisis momento, nadie ha equiparado las citas con la calidad, aunque sí las han relacionado, que no lo es lo mismo.
– Lección 2. Normaliza y contextualiza tus indicadores
Uno de aspectos fundamentales que manifiestan es la necesidad de presentar los indicadores adecuadamente, de forma clara, legible y fácilmente interpretable al usuario final. Para ello proponen cuadros de mando sintéticos que captan el estatus actual de un grupo así como su evolución en el tiempo, en este caso 1970-1980. Una de las cuestiones más llamativas que nos encontramos en este artículo es el germen de los denominados indicadores de citación normalizada (CNCI, FWCI, …) donde se comparan las citas recibidas de los grupos (Observed Citation) con las citas esperadas a nivel internacional (Expected Citation). Sientan con esto las bases de la familia de métricas normalizadas y apuntan a la necesitad de contextualizar nuestros resultados en un escenario internacional.
– Lección 3. Contrasta tus indicadores con gestores y científicos
La puesta en común en nuestros resultados es fundamental en la Bibliometría Evaluativa que tiene como pilar fundamental la discusión de nuestros diagnósticos métricos con los agentes evaluados y con expertos externos. En el artículo los autores discuten los resultados y verifican las publicaciones con cada uno de los grupos de investigación evaluados y, las observaciones de éstos son incluidas en el informe final de cada grupo para ofrecer una adecuada interpretación de las métricas. Paralelamente contrastaron los informes con un comité de 12 investigadores de prestigio internacional.
– Lección 4. Los indicadores bibliométricos son solo una herramienta
Moed & Van Raan indican que los indicadores bibliométricos han de ser entendidos y utilizados como una herramienta para la toma de decisiones en política científica. En ningún caso proponen su uso aislado o de forma unilateral. Por ello se refieren a los indicadores como “monitoring devices” y señalan, específicamente, que no debería existir una relación simple entre las métricas y la naturaleza de las decisiones políticas. Nos alertan que para tomar decisiones se deben analizar los factores subyacentes al impacto y que la bibliometría no reemplaza el análisis y conocimiento de estos factores, si bien, puede ayudan a desvelarlos.
– Lección 5. Describe con precisión los métodos y sus limitaciones
Uno de los aspectos más llamativos del paper es su vertiente técnica ya que proporciona una metodología perfectamente replicable. Sorprende la precisión en la descripción del uso de las bases de datos del momento (Science Citation Index y el Source Citation Index del ISI) o los problemas técnicos que se van encontrando (falta de normalización, errores de procesamientos, etc..). El texto es honesto a la hora de identificar y plasmar los problemas de cobertura en diferentes campos del SCI y, además, es detallista a la hora de indicar el cálculo y las limitaciones de los indicadores. Nunca deberíamos olvidar estas cuestiones ya que otorgan credibilidad a nuestros informes bibliométricos.
3. Brevísima reflexión final
Siempre me he preguntado qué necesidad tiene nuestro mundo bibliométrico de manifiestos oportunistas que nos digan cómo debemos realizar nuestra labor profesional, sobre todo, si todas esas prácticas ya estaban descritas, sin tanta cerrazón y ánimo impositivo, en el corpus bibliográfico de la Bibliometría Evaluativa. Lo siento, nunca me han atraído ni Leiden, ni Doras, ni tu tía… yo hago bien mi trabajo porque estudié las aportaciones seminales del CWTS y, por supuesto, de HF Moed. Gracias a los pioneros de la bibliometría europea de los ‘80 y los ‘90 hemos logrado desarrollar una escuela basada en una vertiente aplicada de la bibliometría y, hoy en día, este marco profesional nos permite afrontar el trabajo en las unidades de evaluación científica sin complejos y mano a mano con los gestores. Por ello, los que estáis cada día en vuestras unidades de bibliométricas ya sabéis que, contra las malas praxis evaluativas, contra la imposición de los manifiestos, contra los negacionistas bibliométricos siempre tendréis un cuartel de invierno en la Bibliometría Evaluativa.
PD: Animo al lector a seguir profundizando en las ideas que hemos expuesto aquí con la lectura de la obra casi póstuma: Moed, Henk F. (2017). Applied evaluative informetrics. Berlin: Springer International Publishing.
Compartimos mediante IweTel una nueva nota ThinkEPI con la finalidad de abrir su contenido al debate como sistema de revisión abierta. Esperamos vuestros comentarios y aportaciones, que a buen seguro enriquecerán el texto y generarán respuestas por parte del propio autor y de otros lectores. Se ruega que no se reproduzcan en blogs u otros medios ya que se trata de versiones provisionales que podrán ser modificadas por los autores y editores para su publicación definitiva en acceso abierto en el Anuario ThinkEPI una iniciativa de Ediciones Profesionales de la Información S.L.
—
Anuario ThinkEPI 2022
Esta contribución es una reseña retrospectiva del siguiente trabajo
Moed, Henk F.; Burger, W. J. M.; Frankfort, J. G.; Van-Raan, Anthony F. J. (1985). “The use of bibliometric data for the measurement of university research performance”. Research policy, v. 14, n. 3, pp. 131-149.
