Es bien conocido el auge que en la evaluación de la
actividad investigadora han ido adquiriendo la publicación en revistas de
impacto, JCR o semejantes, al punto que se desprecian otro tipo de formatos de
investigación – monografías, libros colectivos, documentos de trabajo – y se
valora la excelencia del texto en función de la cualidad de la revista medida
en términos de impacto. Finaliza agosto y por tanto se aproxima el retorno a
las aulas universitarias. Permítase por tanto al titular de este blog
incorporar un documento importante, que me ha hecho llegar Ricardo Morón, compañero de tanto tiempo y amigo, que sin duda propiciará
una obligada línea sindical de trabajo en la Universidad en un futuro
inmediato. Se trata de la Declaración de San Francisco sobre la
evaluación de la Investigación, que se adoptó hace ya seis años, pero
que es un interesante documento crítico sobre el factor de impacto y la
investigación universitaria, especialmente relevante en su aplicación a las humanidades
y a las ciencias sociales.
Existe
una necesidad apremiante de mejorar la forma en que las agencias de
financiación, las instituciones académicas y otros grupos evalúan la
investigación científica. Para abordar este tema, un grupo de editores de
revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San
Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una
serie de recomendaciones, conocidas como la Declaración de San Francisco sobre
la Evaluación de la Investigación. Invitamos a los grupos interesados de todas
las disciplinas científicas a mostrar su apoyo añadiendo sus nombres a esta
declaración.
Los
productos de la investigación científica son muchos y variados, e incluyen:
artículos de investigación que informan sobre nuevos conocimientos, datos,
reactivos y software; propiedad intelectual y jóvenes científicos capacitados.
Las agencias financiadoras, las instituciones que emplean científicos y los
propios científicos, tienen el deseo y la necesidad de evaluar la calidad y el
impacto de los resultados científicos. Por lo tanto, es imperativo que la
producción científica se mida con precisión y se evalúe con prudencia.
El
factor de impacto se utiliza con frecuencia como parámetro principal con el que
comparar la producción científica de individuos e instituciones. El factor de
impacto, calculado por Thomson Reuters*, se creó originalmente como una
herramienta para ayudar a los bibliotecarios a identificar revistas para
comprar, no como una medida de la calidad científica de la investigación en un
artículo. Teniendo esto en cuenta, es fundamental comprender que el factor de
impacto tiene una serie de deficiencias bien documentadas como herramienta para
la evaluación de la investigación.
Estas
limitaciones incluyen:
1.
las distribuciones de citas dentro de las revistas son
muy sesgadas [1-3],
2.
las propiedades del factor de impacto son específicas
de cada campo: es un compuesto de múltiples tipos de artículos altamente
diversos, incluyendo trabajos de investigación primaria y revisiones [1, 4],
3.
los factores de impacto pueden ser manipulados (o
evaluados) por la política editorial [5], y
4.
los datos utilizados para calcular el factor de
impacto no son transparentes ni están abiertamente disponibles para el público
[4, 6, 7].
A
continuación, hacemos una serie de recomendaciones para mejorar la forma en que
se evalúa la calidad de la producción científica. Los productos que no sean
artículos de investigación crecerán en importancia a la hora de evaluar la
eficacia de la investigación en el futuro, pero el documento de investigación
revisado por pares seguirá siendo primordial para la evaluación de la
investigación. Por lo tanto, nuestras recomendaciones se centran en las
prácticas relacionadas con los artículos de investigación publicados en
revistas revisadas por pares, pero pueden y deben ampliarse reconociendo
productos adicionales, como los conjuntos de datos, ya que son productos de
investigación importantes. Estas recomendaciones están dirigidas a agencias
financiadoras, instituciones académicas, revistas, organizaciones que
proporcionan métricas e investigadores individuales.
Estas
recomendaciones cubren una serie de temas:
- La
necesidad de eliminar el uso de métricas basadas en revistas, tales como
el factor de impacto, en consideraciones de financiamiento, nombramiento y
promoción,
- la
necesidad de evaluar la investigación por sus propios méritos en lugar de
basarse en la revista en la que se publica la investigación, y
- la
necesidad de capitalizar las oportunidades que ofrece la publicación en
línea (como flexibilizar los límites innecesarios en el número de
palabras, figuras y referencias en los artículos, y explorar nuevos
indicadores de importancia e impacto).
Reconocemos
que múltiples agencias financiadoras, instituciones, editores e investigadores
ya están fomentando mejores prácticas en la evaluación de la investigación.
Dichos pasos están comenzando a aumentar el impulso hacia enfoques más
sofisticados y significativos para la evaluación de la investigación que ahora
pueden ser desarrollados y adoptados por todas las partes clave involucradas.
Los
signatarios de la Declaración de San Francisco sobre la Evaluación de la
Investigación apoyan la adopción de las siguientes prácticas en la evaluación
de la investigación.
Recomendación
general
1.
No utilice métricas basadas en revistas, como el
factor de impacto, como una medida sustituta de la calidad de los artículos de
investigación individuales, para evaluar las contribuciones de un científico
individual, o en las decisiones de contratación, promoción o financiación.
Para
las agencias de financiación
2.
Sea explícito sobre los criterios utilizados para
evaluar la productividad científica de los solicitantes de fondos de
investigación, especialmente para los investigadores que están iniciando su carrera
investigadora, que el contenido científico de un artículo es mucho más
importante que las métricas de publicación o la identidad de la revista en la
que fue publicado.
3.
Con el fin de evaluar la investigación, considere el
valor y el impacto de todos los resultados de la investigación (incluidos los
conjuntos de datos y el software) además de las publicaciones de investigación,
y considere una amplia gama de medidas de impacto que incluyan indicadores
cualitativos, como la influencia sobre la política y prácticas científicas.
Para
las instituciones
4.
Sea explícito sobre los criterios utilizados para
realizar decisiones de contratación, permanencia y promoción, destacando,
especialmente para los investigadores que están iniciando su carrera
investigadora, que el contenido científico de un trabajo es mucho más
importante que las métricas de publicación o la identidad de la revista en la
que fue publicado.
5.
Con el fin de evaluar la investigación, considere el
valor y el impacto de todos resultados de la investigación (incluidos los
conjuntos de datos y el software) además de las publicaciones de investigación,
y considere una amplia gama de medidas de impacto, incluidos los indicadores
cualitativos del impacto de la investigación, como la influencia sobre la política
y prácticas científicas.
Para
las editoriales
6.
Reduzca profundamente el énfasis en el factor de
impacto como herramienta promocional, idealmente dejando de promover su uso o
presentando la métrica en el contexto de una variedad de métricas basadas en revistas
(por ejemplo, factor de impacto de 5 años, EigenFactor [8], SCImago [9],
h-index, tiempo editorial y de publicación, etc.) que proporcionan una visión
más amplia del rendimiento de la revista.
7.
Ponga a disposición una variedad de métricas a nivel
de artículo para alentar un cambio hacia la evaluación basada en el contenido
científico de un artículo en lugar de las métricas de publicación de la revista
en la que se publicó.
8.
Fomente las prácticas de la autoría responsable y la
provisión de información sobre las contribuciones específicas de cada autor.
9.
Independientemente de que una revista sea de acceso
abierto o basada en suscripciones, elimine todas las limitaciones de
reutilización de las listas de referencias en los artículos de investigación y
haga que estén disponibles bajo la dedicación de dominio público de Creative
Commons [10].
10.
Elimine o reduzca las restricciones sobre el número de
referencias en los artículos de investigación y, cuando corresponda, ordene la
citación de la literatura primaria a favor de las revisiones para dar crédito
al grupo o los grupos que primero informaron de un hallazgo.
Para
las organizaciones que proporcionan métricas
11.
Sea abierto y transparente al proporcionar datos y
métodos utilizados para calcular las métricas.
12.
Proporcione los datos bajo una licencia que permita la
reutilización sin restricciones y proporcione acceso computacional a los datos,
cuando sea posible.
13.
Especifique que no se tolerará la manipulación
inapropiada de las métricas; sea explícito sobre lo que constituye una
manipulación inapropiada y qué medidas se tomarán para combatirla.
14.
Tenga en cuenta la variación en los tipos de artículos
(por ejemplo, revisiones frente a artículos de investigación) y en las
diferentes áreas temáticas al utilizar, agregar o comparar métricas.
Para
los investigadores
15.
Cuando participe en comités que toman decisiones sobre
financiación, contratación, permanencia o promoción, realice evaluaciones
basadas en el contenido científico en lugar de en métricas de publicación.
16.
Cuando sea apropiado, cite literatura primaria en que
las observaciones son referidas primero, en lugar de revisiones para dar
crédito donde debe darse.
17.
Utilice una gama de métricas e indicadores basadas en
declaraciones personales y de apoyo, como evidencia del impacto de artículos
individuales publicados y otros resultados de investigación [11].
18.
Impugne las prácticas de evaluación que dependen
indebidamente del factor de impacto y promueva y enseñe prácticas que se
centren en el valor y la influencia de los resultados de investigación
específicos.
Referencias
*
El Journal Impact Factor actualmente es publicado por
Clarivate Analytics
