¿Se puede cuantificar la calidad de un artículo científico?

Los medios de comunicación nos recuerdan a diario la existencia de unos índices numéricos que poseen la mágica tendencia a subir o bajar a lo largo de los días, meses o años. Hay un consenso generalizado de que el IBEX de la bolsa, el TAE de los créditos, el IPC interanual, por ejemplo, poseen un valor numérico que baja o sube, hecho que asociamos a una medida de nuestro bienestar. Pero, ¿sabemos su significado? ¿Qué magnitudes estamos midiendo? La mayoría de la gente, incluyéndome a mí, no sabríamos responder a estas preguntas, pero tenemos asumido que un IBEX alto es bueno y en cambio un TAE alto es malo.

Nuestra mente racional le gusta cuantificar las cosas, como si al puntuarlas fuéramos capaces de comparar o tomar decisiones de una manera objetiva. En el mundo de la ciencia la cuantificación y manejo de magnitudes es su primer mandamiento. Esta clasificación y medición aplicada a las publicaciones científicas se ha generalizado hoy en día gracias a las bases de datos informatizadas. La más importante es la mantenida por el Institute for Scientific Information (ISI), que es una entidad privada que indexa anualmente el contenido de todos los artículos científicos publicados en más de 7500 revistas especializadas. Pero lo que le hace distinta a otras bases de datos es que se introduce para cada artículo las referencias completas que han empleado los autores de los artículos para confeccionar el mismo. Esto permite incluir también las citas que ha recibido el artículo en otros trabajos.

Partiendo de esta información se publica cada año el Journal Citation Reports. Este es un recurso que proporciona la información estadística anual de las bases de datos. Para ello se vale de una serie de índices, cuyo fin es, según el administrador de la base de datos, informar a los investigadores que publicaciones son con más frecuencia citadas. A los editores determinar la influencia de sus publicaciones en el mercado. Y a los profesionales de información ayuda para la adquisición y administración de colecciones de publicaciones periódicas.

El índice más conocido es el denominado Factor de Impacto (FI). Este coeficiente pretende evaluar la importancia de los artículos publicados en una determinada revista durante un periodo de dos años. Por ejemplo, en el año N para una determinada revista se obtiene dividiendo las siguientes cantidades:

Cn: Número de veces en que los artículos publicados en los años N - 2 y N - 1 han sido citados por las publicaciones, exclusivamente por las contenidas en la base de datos del ISI, en el año N.

YPn-1 + YPn-2: Número total de artículos publicados en los años N - 2 y N - 1 por la revista.

Este índice, que se calcula con tres cifras decimales, ha alcanzado una importancia a veces desmesurada entre la comunidad científica. Los investigadores muestran la calidad de sus trabajos por medio del factor de impacto de las revistas en donde los han publicado. Olvidándose el origen del mismo, ya que esta referida a una publicación no a un artículo en concreto.

Por lo tanto el factor de impacto debería estar más cuestionado de los que está, sobre todo por su mal uso. Pues no esta claro que el número de las citas mida realmente la calidad del contenido de lo publicado. A esto se une que el periodo de cálculo para las citas es de dos años, intervalo que en algunas especialidades es muy pequeño para valorar la importancia de lo publicado. Así los artículos clásicos son citados frecuentemente aún después de décadas. La naturaleza de los resultados en distintas áreas de la investigación científica produce distinta cantidad de publicaciones y a diferente ritmo, lo que tiene un efecto en el factor de impacto. Las publicaciones médicas, por ejemplo, tienen un factor de impacto más alto que las publicaciones matemáticas, cuyos resultados no son tan inmediatos. A pesar de esto es común comparar factores de impacto entre especialidades, hallar medias aritméticas o baremar puntos en concesiones de becas o ayudas a la investigación.

Podemos decir que el factor de impacto es útil como herramienta de análisis. Pero no como dato último en la valoración de algún tipo de calidad de una publicación. Un artículo debería ser valorado por su contenido no por este número de objetividad cuestionable aplicado a la revista donde se publica. Lo que pasa es que al igual que asumimos que en IBEX elevado es una medida de bonanza económica, sin saber que simplemente indica que unos inversores rentabilizan lo invertido, pero no al resto de ciudadanos que no jugamos a la Bolsa.