2 / 11 / 2015

Miden con lenguaje natural que el 2,4% de las citas científicas son negativas

Comparte este artículo

El número de veces que los artículos académicos son citados por publicaciones posteriores es uno de los indicadores consagrados por el tiempo que se utilizan para evaluar el nivel y la productividad académica. Pero no todas estas citas son positivas, y una investigación realizada con procesamiento de lenguaje natural demuestra que hasta una de cada 50 citas en una importante revista de inmunología eran básicamente críticas.

Estas citas negativas pueden señalar limitaciones, inconsistencias o errores en el trabajo anterior. El estudio encontró que estas citaciones negativas eran más propensas a criticar trabajos muy leídos, y que las críticas se centraban en secciones específicas de los artículos. Las citas negativas tienden a provenir de eruditos que estaban cerca de los autores de los artículos originales en cuanto a disciplina académica y distancia social -pero al menos a 240 kilómetros de distancia geográfica.

La investigación, realizada por autores del Instituto de Tecnología de Georgia (Atlanta, EE.UU.), la Universidad de Toronto (Canadá) y el Instituto de Tecnología de Massachusetts (Boston, EE.UU.), puede ser el primero en cuantificar y examinar estas citas negativas sistemáticamente. Los autores esperan ampliar su estudio a otras disciplinas, y creen que su trabajo, en última instancia, podría dar lugar a reexaminar cómo se utilizan las citas en el mundo académico.

Según Alexander Oettl, profesor asistente de la Escuela Scheller de Negocios del Tecnológico de Georgia y uno de los tres co-autores del estudio, "las citas negativas realmente son diferentes de las citas objetivas".

Los investigadores comenzaron con 15.731 artículos que se habían publicado en el Journal of Immunology, la principal revista académica de inmunología. De esos artículos, extrajeron 76.355 citas, referidas a 146.891 artículos.

Mediante un proceso manual, crearon una serie de citas que se utilizaron para entrenar a un programa de procesamiento de lenguaje natural, que clasificó el resto de las citas, ya fuera como objetivas o negativas. El proceso identificó 18.304 citaciones negativas, alrededor del 2,4 por ciento de las citas totales estudiadas.

"La mayoría de estas citas negativas parecen discrepar con los "resultados" y la "discusión" de los documentos, por lo que realmente no están tratando de derribar la teoría", dice Oettl en la nota de prensa del Instituto. "Pueden estar tratando de limitar los resultados, apuntar incompatibilidades con otras investigaciones, señalar defectos estadísticos o corregir otros problemas."

En su estudio, los autores señalan la relativa rareza de estas citas negativas, y especulan que eso podría o bien mostrar un papel "limitado, sin influencia" de la crítica en la ciencia, o una renuencia a criticar.

Coste

"Hacer citas negativas tiene un coste", señala Oettl. "Puede haber un daño a la reputación al hacer estas citas negativas, y si la crítica resulta ser falsa, en gran medida puede volverse en contra. Sin este coste, tal vez podríamos ver una crítica más abierta que en las revistas".

"Vemos que la probabilidad de hacer una cita negativa es mucho, mucho más baja si usted está cerca físicamente del científico cuyo trabajo está siendo criticado", dice Oettl. "Eso podría estar hablando del componente social, del coste social de la crític: usted no quiere criticar a alguien al que es posible que se cruce en el campus. Otra interpretación posible es que estos temas pueden ser transmitidos cara a cara entre los científicos que se encuentran cerca entre sí geográficamente".

En el estudio, los artículos citados con frecuencia eran más propensos a ser criticados que los menos leídos, lo cual es lógico, explica Oettl, porque la gente los conoce más, y porque criticar un artículo poco leído no tendría una gran relevancia.

Los investigadores eligieron la inmunología porque tenían acceso a los artículos, y eran consistentes en formato. Encontraron un número similar de citas negativas en un pequeño conjunto de artículos relacionados con las matemáticas, pero esperan ampliar su trabajo para determinar si sus conclusiones son aplicables a otras disciplinas.

 

Comparte este artículo
Suscríbete a nuestra Newsletter
Suscríbete