Publicaciones científicas: los sesgos del sistema de revisión por pares

Por Lluis Montoliu, el 12 septiembre, 2022. Categoría(s): integridad científica • política científica • sistema científico ✎ 4
Algunos ejemplos de las revistas científicas más populares y prestigiosas, generalistas y especializadas. Fotografía: banco de imágenes de Microsoft Office, bajo licencia CC BY-SA-NC.

Las publicación de los resultados de los experimentos científicos se hace a través de revistas, cuyos editores evalúan, con la ayuda de revisores expertos en el tema de cada artículo, la calidad, novedad, ejecución, conclusiones y claridad del manuscrito remitido para ser publicado. Este es el llamado sistema de revisión por pares (peer review, en inglés) en el que se sustenta toda la literatura científica publicada, los miles y miles de artículos científicos publicados anualmente, que cada año son más. En un mundo ideal este debería ser un sistema perfecto, sin matices ni problemas. Cada artículo es evaluado según los parámetros de calidad, novedad y ejecución anteriormente mencionados por otros científicos expertos, miembros de la misma área de conocimiento a la que pertenece el autor o autores del trabajo remitido a publicar, y aquellos revisores tomarían su decisión de publicar o no publicar el trabajo, o de solicitar pequeños o grandes cambios, basándose únicamente en esos parámetros.

Pero no vivimos en un mundo ideal. Los revisores son personas, hombres y mujeres, que pueden equivocarse, consciente o inconscientemente, como seres humanos que son. Y también pueden estar sujetos a múltiples conflictos de interés, con sus fobias y sus filias. Por ejemplo, por tener afinidad o amistad con los autores responsables del trabajo que les piden evaluar (y entonces tender a ser más benevolentes y más positivos de lo que un juicio objetivo aconsejaría). O, por el contrario, por tener abiertas discrepancias o enemistad manifiesta con esos mismos autores (y entonces promover una crítica acérrima y despiadada al trabajo, seguramente más allá de lo razonable, más allá de lo que también un juicio objetivo recomendaría). Tal y como recogen la mayoría de manuales de conflictos de intereses (como el del CSIC) ante la amistad o enemistad manifiesta con el autor cuyo trabajo nos piden evaluar deberíamos declarar estos intereses y lo aconsejable sería no evaluar los trabajos si no estamos seguros de poder hacerlo con objetividad, fijándonos solamente en la ciencia que nos presenta ese manuscrito. Todos los que nos dedicamos a la ciencia tenemos algún ejemplo vivido en primera persona de bloqueo temporal o rechazo de un artículo por un enfrentamiento con algún revisor o editor, y estos ejemplos los recordamos bien. Pero seguramente también nos habremos beneficiado todos, alguna vez, de revisiones magnánimas, que nos han permitido publicar en alguna revista de una forma más fácil de lo que habitualmente les resultaría al resto de investigadores (y estos casos tendemos a olvidarlos y, ciertamente, a no comentarlos).

Los tres servidores de preprints (manuscritos no revisados por pares) más populares en la actualidad: arxiv, biorxiv y medrxiv.

Desgraciadamente, tampoco es inusual la rotura del debido proceso de confidencialidad durante el proceso de revisión de un trabajo, por la cual un revisor experto se da cuenta de los avances de sus competidores de forma privilegiada, leyendo sus trabajos en la fase de evaluación, antes que nadie, y los comparte con su grupo o con terceros, a la vez que retrasa el envío de comentarios a los autores, mientras intenta reproducirlos o incluso superarlos para poder publicarlos antes que el estudio cuya evaluación le ha sido solicitada. Justamente para evitar esa apropiación indebida de los resultados y para acreditar la autoría y fechas de los hallazgos es por lo que surgieron los servidores de preprints, repositorios en los que los autores depositan en abierto sus manuscritos, no revisados, pero en los que todo el mundo puede constatar quién postuló qué avance y en qué fecha de prioridad. Inicialmente para los trabajos de física, matemáticas, economía y otras disciplinas técnicas (arXiv), y posteriormente para los trabajos de biología (bioRxiv) o medicina y ciencias de la salud (medRxiv). También surgieron para permitir la discusión de los resultados antes de que finalmente sean publicados, aunque esta opcción todavía no ha prendido suficientemente en bioRxiv y medRxiv mientras que sí es habitual en arXiv.

Los males de la ciencia. Autores: Juan Ignacio Pérez y Joaquín Sevilla (Next Door Publishers, marzo de 2022).

La publicación de los resultados científicos por parte de las revistas es uno de los negocios más lucrativos que se conocen, con márgenes de beneficio que superan el 30 y el 40%. Las empresas editoras de las revistas cobran a los autores por publicar sus trabajos en ellas, y después les cobran a esos mismos autores y a otros por acceder a leer esos trabajos. Y, por el contrario, esas mismas empresas editoras no pagan a los autores por la autoría de sus trabajos ni por publicarlos (al contrario, les cobran por ellos), ni pagan a los expertos, que son quienes realizan el trabajo de evaluación altruísticamente («hoy yo por tí, mañana tú por mí»). Un negocio redondo, con apenas gastos (una página web y un sistema de documentos PDF más o menos formateados, frecuentemente editados por los propios autores) y con enormes beneficios. Todo este fenomenal disparate, que resulta increíble para el resto de la sociedad cada vez que lo intentamos explicar los investigadores, se mantiene por la simple razón de que todo el sistema de evaluación científica (para acceder a becas, contratos, proyectos, para optar a plazas, para promocionar, para recibir premios…) está basado principalmente en estas publicaciones científicas. No necesariamente en su contenido (como ingenuamente podríamos pensar) sino esencialmente por dónde se publican estos resultados, en qué revistas y con qué índice de impacto. Por lo que los investigadores seguimos condenados a seguir participando de este despropósito (y seguimos dando vueltas a la noria sin fin) si no queremos autodescalificarnos y quedarnos fuera del sistema científico. Estos son algunos de los «Males de la ciencia» que recogen Juan Ignacio Pérez y Joaquín Sevilla en su libro publicado por Next Door Publishers en marzo de 2022, dedicándole un capítulo a los «males del sistema de publicaciones«.

Afortunadamente, existen propuestas recientes en Europa, vehiculadas por Science Europe, en los que se propone un nuevo sistema de evaluación de la actividad científica, lanzado en julio de 2022, que supere los meros índices bibliométricos (que no fueron creados para este fin) y tenga en cuenta un conjunto de aportaciones del investigador, para con la ciencia (relevancia de los resultados obtenidos, transferencia de los mismos), para con la sociedad (divulgación de los resultados a las personas no especialistas en el tema) y para con la comunidad científica (aportaciones relevantes en formación y mentoría de estudiantes, técnicos e investigadores predoctorales y postdoctorales), entre otros criterios cualitativos que deberán empezar a considerarse a partir de ahora. Esta nueva propuesta se elabora a partir de otras anteriores como DORA (Declaration on Research Assessment), consensuada en San Francisco durante el Annual Meeting of The American Society for Cell Biology (ASCB) celebrado en diciembre de 2012, firmada hasta hoy por 22.162 personas e instituciones de 159 países de todo el mundo.

Pero existen otros sesgos en el sistema de revisión por pares de las publicaciones científicas. Por un lado la institución en la cual investigan los científicos. Y por otro lado quiénes son estos científicos, si son conocidos o no, si son famosos o laureados o son desconocidos. Veamos estos dos sesgos por separado.

Ya hace años que se determinó, a través de varios estudios, que la institución en la que trabajan los autores de un artículo ejerce una fuerte influencia en la aceptabilidad de los manuscritos que se envían a publicar desde ella. Trabajos remitidos desde instituciones prestigiosas tienden a ser recomendados o aceptados para su publicación mucho más frecuentemente que aquellos trabajos remitidos desde instituciones menos conocidas, con menor prestigio e impacto internacional, cuyos trabajos serán habitualmente rechazados con mayor probabilidad. Que se lo digan sino a Francis Mojica, cuyo descubrimiento del sistema CRISPR de defensa adaptativo de las bacterias, con base genética, realizado en verano de 2003 desde la Universidad de Alicante, sin colaboradores internacionales, tardó casi tres años en poder publicarlo, en la revista Journal of Molecular Evolution en 2005, una revista digna pero alejada de las más prestigiosas revistas que se negaron a publicar los resultados, a pesar de ser muy importantes. Tan relevantes como que fueron la semilla a partir de la cual Emmanuelle Charpentier y Jennifer Doudna desarrollaron las herramientas CRISPR-Cas9 de edición genética, consiguiendo el Premio Nobel de Química en 2020 por ello. Por el contrario Jennifer Doudna (Universidad de California en Berkeley, EE UU) y Emmanuelle Charpentier (Universidad de Umeå, Suecia) solamente necesitaron 12 días (!) para que su artículo enviado a la revista Science en junio de 2012 fuera aceptado para su publicación. Si Mojica hubiera estado en Harvard en 2003 otro gallo hubiera cantado. Así se escribe la historia.

Figura 1 del artículo, con los resultados principales del trabajo realizado por Huber y colaboradores «Nobel and Novice: Author Prominence Affects Peer Review» depositado en el servidor de preprints del SSRN.

Para hablar del último de los sesgos que afectan al sistema de evaluación de las publicaciones científicas por pares me referiré a un estudio muy reciente, por Juergen Huber y colaboradores, depositado en el servidor de preprints de ls SSRN, con el título «Nobel and Novice: Author Prominence Affects Peer Review«. En este trabajo, los autores utilizaron un artículo escrito conjuntamente por dos autores, un premio Nobel y un investigador joven y desconocido, y lo mandaron a más de 3300 investigadores para ser evaluado, dividiendo a los investigadores expertos revisores en tres grupos.: (1) un primer grupo (denominado AL) en el que anonimizaban el nombre del investigador senior, laureado con el premio Nobel (los revisores solo veían el nombre del investigador joven y desconocido); (2) un segundo grupo (denominado AH) con el nombre del investigador desconocido anonimizado (los revisores solo veían el nombre del investigador premiado con el Nobel); y (3) un tercer grupo (denominado AA) en el que los dos nombres, del investigador senior y junior estaban anonimizados (los revisores no veían ningún nombre). Para este estudio los investigadores usaron como investigador senior a Vernon L. Smith, premio Nobel de Economía en 2002 y con >53.000 citas en Google Scholar, y como investigador junior a Sabiou Inoua, un joven investigador, desconocido, con apenas 42 citas en Google Scholar. Y para que solamente se valorara el efecto de los autores en este caso la afiliación de los dos investigadores era la misma, el Economic Science Institute at Chapman University, en EEUU.

Los resultados no dejan lugar a dudas. El 65,3% de revisores rechazaron el artículo si solo se mostraba el autor desconocido, el 48,2% de revisores lo rechazaron si no se mostraba ningún autor, y solamente el 22,5% de revisores rechazaron el manuscrito si el nombre que se mostraba era el del investigador ganador del Nobel. El mismo artículo. Más todavía, si miramos la figura adjunta queda claro que solamente el 2% de los revisores aceptaron el artículo sin modificaciones si el artículo solamente mostraba el autor desconocido. Igualmente, solo un 1,8% de revisores lo aceptaron tal cual si los dos autores eran anónimos. Pero un 20,6% de los revisores aceptaron el artículo si se mostraba el nombre del autor premiado con el Nobel. Las mismas diferencias y tendencias se registraban para los que sugirieron aceptar el artículo para publicarse con unas pequeñas modificaciones (minor), fueron un 7,9% de los que conocían solo el autor desconocido, el 21,8% de los que no conocían a ningún autor, pero el 38,2% de los que vieron el nombre del Nobel. Cifras incontestables. La publicación con nombres de investigadores famosos y conocidos tendía siempre a ser evaluada favorablemente y tenía una mayor probabilidad de ser aceptada sin cambios o con modificaciones menores. Por el contrario, si la misma publicación se asignaba a un investigador desconocido aumentaban los problemas y las pegas de los revisores, que tendían a rechazarla o a pedir más modificaciones importantes antes de aceptar el artículo. Repito: el mismo artículo.

Figura 2 del artículo, con las respuestas recibidas de los evaluadores a un cuestionario sobre el trabajo que les habían pedido evaluar, recogido por Huber y colaboradores en  «Nobel and Novice: Author Prominence Affects Peer Review» depositado en el servidor de preprints del SSRN.

De los investigadores expertos invitados a revisar, aceptaron revisarlo el 28,5% de los que solo vieron el autor desconocido, el 30,7% del artículo completamente anonimizado, y el 38,5% de los que solo vieron el Nobel, una diferencia significativa. La presencia de un investigador senior conocido les empujaba a aceptar la revisión. En relación al cuestionario que los revisores tuvieron que rellenar sobre si el «tema de trabajo valía la pena» (subject worthy), sobre si «la información aportada era nueva» (information new), o sobre si «las conclusiones estaban sustentados en los datos aportados» (conclusions supported) las cifras volvían a ser muy claras. En todos los casos, las respuestas a este cuestionario eran más favorables siempre que se conocía el investigador senior premiado con el Nobel. Y menos favorables si los autores eran anónimos o si solo se conocía al autor joven.

Nuestros investigadores postdoctorales lo saben bien cuando salen al extranjero. Apuestan por solicitar entrar en equipos sitos en instituciones prestigiosas y liderados por jefes de laboratorio famosos y premiados (este fue también mi caso), dos elementos que sin duda ayudarán a obtener publicaciones de mayor nivel e impacto, en las revistas más prestigiosas, por las que luego nos evaluarán. Evidentemente nadie regala nada. Hay que dejarse la piel, hay que trabajar mucho, pero estos estudios de los sesgos del sistema de revisión entre pares lo que demuestran sin lugar a dudas es que tu CV va a depender mucho de dónde estés ubicado realizando tu investigación y de quiénes sean tus colaboradores y supervisores del trabajo que realices.

Alguien podrá decir que hay ejemplos de investigadores que se han ido al lugar más recóndito del mundo a trabajar con investigadores desconocidos y la relevancia de su trabajo ha conseguido colocarlo en revistas de primer nivel. Excepciones las hay, claro. Como también hay quien se ha ido a Stanford a trabajar con un premio Nobel y no ha conseguido sacar un paper de todo ello. Pero en ambos casos se trata de los extremos de la gráfica. La mayoría de investigadores encajarán perfectamente en las conclusiones de este estudio. Una buena reflexión, no por sabida menos sorprendente. Y una nueva evidencia científica, objetiva, de que la que la revisión entre pares no es el sistema perfecto ni óptimo que todos desearíamos.

Hay varios tipos de revisión por pares. Los tipos principales son tres. La transparente, en la que tanto el revisor conoce los nombres de los autores como estos conocen el nombre de los revisores. La ciega simple (single blind), en la que el revisor conoce a los autores pero estos no conocen a los revisores, que es el sistema más habitualmente usado por casi todas las revistas científicas. Y la ciega doble (double blind) en la que ni el revisor conoce los autores ni estos conocen a los revisores. Ni se conoce tampoco la afiliación de los autores. A la vista de todos los sesgos del sistema de revisión entre pares que he comentado en esta entrada del blog parecería muy recomendable, por no decir obligatorio, que optáramos por el sistema de evaluación doble ciega, para asegurarnos que los revisores solo prestan atención a los resultados científicos presentados, y no quiénes son sus autores ni desde donde realizan su investigación. Sin embargo seguimos lejos de encontrar una solución definitiva. Incluso en casos de evaluación por pares doble ciega es posible, en la mayoría de los casos, deducir o inferir quienes son los autores (y, por lo tanto, su institución) por la naturaleza de los experimentos reportados.

Más allá de los problemas de la evaluación por pares, expuestos en esta entrada del blog, que hacen que el sistema sea dificilmente sostenible en la actualidad, son muchos más los problemas que afectan a la publicación de resultados científicos (la falsificación, fabricación, exageración o copia de resultados; la publicación de resultados negativos; las revistas y editoriales depredadoras; etc…). Pero podemos preguntarnos si: ¿existe alguna alternativa a la evaluación por pares? Este es un tema del que han aparecido numerosos artículos y opiniones discutidas en congresos. Andrew Timming propuso en 2021 tres ideas:

  1. Que cada investigador publique lo que quiera en repositorios públicos y que sea la comunidad científica quien acredite la fiabilidad y relevancia de los resultados o condene la baja calidad o irrelevancia de otros trabajos. Un sistema de acreditación universal.
  2. Que se realice una mínima revisión por pares que autentifique los métodos usados pero que no evalue ni los objetivos ni la relevancia de los resultados, que quedarían al albur de los lectores de la comunidad científica, algo parecido a lo que ya está ocurriendo en las revistas del grupo PLoS (Public Library of Science).
  3. Que se profesionalice la función del revisor, dejando de ser investigador y cobrando por esta tarea. Los investigadores investigan, los revisores revisan y, de acuerdo a su criterio, los trabajos son o no publicados.

Seguramente no haya una solución única que sea válida para todas las situaciones ni todas las disciplinas científicas y deban explorarse soluciones diversas e imaginativas adaptadas a cada área del conocimiento: En cualquier caso, sean cuales sean las soluciones todas deberán servir a un fin principal: la evaluación objetiva de los artículos científicos.



4 Comentarios

  1. Un art. muy interesante, precisamente porque se basa en datos objetivos.
    Como único comentario decir que el hecho objetivo de que el sistema actual basado en la explotación comercial-empresarial de las publicaciones, a pesar de todos sus defectos que tan claramente se exponen en el art., asegura que haya un interés «egoista» en mantener la difusión científica de vanguardia, sistema que está por demostrar que siguiera funcionando si eliminamos de la «ecuación» la parte empresarial.
    Salvando las distancias es lo mismo que sucedió con el «buscador definitivo de Google», que ha revolucionado nuestra vida diaria: si existe y lo utilizamos «gratuitamente» a diario es precisamente porque existe un gigantesco y «egoista» negocio empresarial detrás.

  2. Hola, muy interesante este artículo, muy completo y muy claro. Yo soy una persona que habitualmente polemizo con el status quo. Soy teleco y con 54 años me he puesto a realizar un máster de bioinformática. La genética me apasiona. Como tu bien dices en el artículo, cuando los de fuera conocemos como funciona todo esto, nos ponemos las manos a la cabeza. Yo tengo una empresa pequeña y es terrible la rigidez de la administración, los concursos públicos, las contrataciones. Cuando terminé mi TFM sobre duplicaciones génicas en bacterias pensé en términos empresariales. Además yo realicé una aplicación web. Qué era lo lógico pensar en mi cabeza? Pues cuando lo termine bien hago un emailing a todos los departamentos de microbiología de hospitales, laboratorios, empresas farmacéuticas, compañías alimentarias… y mi tutor…. frenaaaa, que esto no va así. La verdad es que el trabajo no está aún para abrirlo al mundo pero yo lo tengo claro, seguiría el punto 1 de las alternativas que has planteado. Promoción y publicación libre y ya será cada departamento de investigación que compruebe tus resultados, o que te pregunte directamente para que los defiendas y porque no, para que cobres una hora de consultoría por un trabajo que «tiene buena pinta».

    El resumen es muy claro. La administración ha fracasado. La administración y los marcos rígidos con normas arcaicas no pueden seguir el ritmo de la vida, el ritmo de la globalización del conocimiento. Por lo tanto nos lo tenemos que saltar. Estudiar informática ya no tiene sentido hacerlo en las universidades. Nunca podrán competir con la velocidad de estudos privados intensivos donde también se aprende la estructura de la programación. Carreras como diseño industrial, pollítica, comunicación márqueting, la administración ya no puede darlas. Está obsoleta. No puede seguir el ritmo.

    Así que animo a todos los investigadores jóvenes que no solo publiquen sus trabajos en espacios libres y abiertos, si no que lo hagan en colores, con todas las herramientas de márketing a su alcance, que paguen en google adwords para que sus trabajos salgan los primeros, y que cobren por sus ideas y descubrimientos. Una revolución por todo lo alto. No estamos hablando de curanderos ni de religiosos. estamos hablando de gente que trabaja un montón de horas y que argumenta sus estudios. Seguro que en el mundo hay mucha más gente preparada e interesada en vuestros trabajos sin tener que pasar por el tubo de la publicación científica. Es como el comunismo del artículo científico, cerrado, controlado, revisado, cuestionado. Y si saben más los puboicadores que los revisores?

    Que todo salte por los aires por favor, en positivo. Publicar en colores, abiertamente y realizar vuestra propia comercialización de vuestro trabajo. Son muchas horas. Merece vuestros cuidados. Defenderlo vosotros mismos con una presentación dinámica, alegre, con música, incluso divertida. Las cosas más serias se pueden contar de muchas formas sin perder rigor.

    Dani

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.