Reflexiones acerca de la revisión de artículos científicos





Hay un sitio fantástico que acabo de descubrir: Publons. Permite acreditar las revisiones de manuscritos científicos. Es fantástico porque el ser revisor es un trabajo que se realiza de manera anónima, no remunerada y exige bastante tiempo y este sitio permite visualizar el esfuerzo y dedicación de este ejercito de personas que mantiene funcionando la ciencia moderna.

Cuando subí mi información me permitió visualizar dos cosas que llamaron mi atención:
  1. He revisado muchos papers, muy por sobre la mediana en mi área. Y eso sin incluir las revisiones de revistas no indizadas... 
  2. Mi tasa de aceptación es mucho más baja de lo que creía, pensaba que era del 40/, pero es del 15%

En estos años había anotado algunas reflexiones acerca de la revisión que aprovecho de compartir ahora.




Tipos de revisiones

Existen tres tipos de revisiones: 
  1. single blind: los autores no saben quien los revisa
  2. double blind: los revisores no saben a quien revisa y los autores no saben quien los revisa. En la práctica, como uno revisa manuscritos de su área y conoce los autores, es relativamente fácil identificarlos, especialmente cuando es de uno destacado (ex ungue leonis).
  3. open access review: esta es utilizada por la BMC Oral Health y me gusta. Aquí, cuando se publica el artículo, se hace en conjunto con el primer envío y los comentarios de los revisores. Aquí todos saben quien es el otro/a.

No hay buenos o malos revisores, solo buenos o malos editores.

y un mal editor es aquel que elige malos revisores. En una cruel ironía de la vida, ahora soy editor en dos revistas biomédicas: en la sección Study Design del Dental Traumatology y en Delivery, management and promotion of oral health and dental care del BMC Oral Health.

Bueno, esto de la mala edición ocurre con frecuencia en revistas en español: por ejemplo, editores que permiten que estos atentados al papel lleguen a ser publicados, como esta sección resultados que son solo tablas: 


o un clásico de la literatura científica en español; valores de p = 0, o en este caso con un leve toque francés: le p-valué
Un valor de p, que es p de probabilidad. indica, como debes imaginar, la PROBABILIDAD de la ocurrencia de un evento. Si fuese 0 o 1, se debería indicar como C de CERTEZA.
Ah, para añadir insulto a la injuria, los autores luego lo indican en el texto, ganándose un lugar de honor en mi clase Galería del Horror en Métodos de Investigación: 


También los gráficos, por ejemplo, trata de mantener la cabeza derecha con éste:

¿lo lograste? Bueno, entonces, prueba con este otro: 

:)

Por ejemplo, veamos este caso de texto y párrafo:


Si este reporte hubiese pasado por mi escritorio, hubiese dicho algo como: 

"Pág X, lineas XX a XX: eliminar el gráfico y resumir el texto en 'de 19.756, el 1.3% correspondió a leucoplasias' "

El rol del revisor

Evaluar la validez, relevancia y originalidad de un manuscrito, y de cumplir con esas características, mejorar el manuscrito. 

¿Porqué las revistas en español y algunas nuevas de India, Turkia y Paquistan son tan malas?

Aquí hay una responsabilidad compartida de malos editores y malos revisores. Un mal editor confía que los revisores harán su trabajo. Y un mal revisor cree que su trabajo es, como un emperador romano, dictaminar si el trabajo se publica o no. Nada más lejos de la realidad. 

¿Cómo es un buen revisor?

  1. Envía la revisión que a ti te gustaría recibir. Y a mi me gustan las cosas claras y específicas. Por ejemplo
    Mala revisión    mejorar las tablas
    Buena revisión    Delete Table 2: This table is unnecessary as all of the data are presented in the last sentence of the first paragraph of the results section.
    Al respecto, la peor revisión que he recibido hasta el momento vino...de un revisor en Chile:

  2. Un buen revisor discute el paper, no a los autores. Así, un buen revisor evita las preguntas retóricas como "qué habría pasado si..." o interrogativas a los autores como "porqué eligieron medir....". En cambio se orienta al paper, así queda como "en la sección discusión falta un párrafo que recoja el resultado..." y "en la sección métodos se debe describir la racionalidad de la elección de la escala...."

¿Es el idioma una barrera?

Varias veces he escuchado el siguiente argumento: "los autores que hablan castellano publican poco/menos por la barrera del idioma" Es incorrecto, porque la triste realidad es que ni siquiera en nuestro propio idioma escribimos correctamente un reporte de investigación.

Por ejemplo, de todo el texto que se muestra a continuación, lo único relevante para el artículo es lo que marco en el rectángulo rojo. Y aquí faltan referencias claves y los datos precisos acerca de la eficacia de uno y otro analgésico:

¿Cómo se mejora un manuscrito?

  1. Omit nedleess words
  2. Omit nedless tables y figures
Por ejemplo; aquí los autores presentan los datos, pero no la información. El gráfico tiene el eje Y que parte desde 108, trabajan con muestras pero no tiene barra de error.. etc, etc, etc.  De hecho todo esto se podría resumir en un solo gráfico con tres barras.

10 Preguntas claves de un revisor

  1. ¿está claramente establecida la pregunta de investigación?
  2. ¿son los métodos elegidos apropiados para responder la pregunta de investigación?
  3. esta pregunta de investigación: ¿es original, importante o ambas?
  4. ¿se puede contestar o suponer la respuesta de esta pregunta con la evidencia disponible a la fecha o realmente es necesario realizar este estudio para averiguarlo?
  5. ¿este estudio cuestiona un paradigma, añade conocimientos o ambas?
  6. ¿importa?
  7. ¿se describen los métodos con suficiente detalle como para replicarlos?
  8. ¿los datos son de calidad?
  9. ¿hacen los autores el esfuerzo por recoger de manera válida los datos, convertirlos en información y establecer la relevancia de esta información?
  10. ¿es la interpretación de esta información interesante, ingeniosa o ambas?

La estadística

Un revisor debe dominar los aspectos del análisis estadístico o en caso contrario pedir colaboración. 
Diferencia entre grupos y tamaño muestral necesario
El que reporte ocupar SPSS no convierte a un análisis estadístico en uno correcto.
GIGO: Garbage In, Garbage Out. 
La estadística añade una prueba más, pero, como en un juicio, una sola prueba no gana un caso.

Referencias de utilidad para la estadística

De Muth, J.E., 2009. Overview of biostatistics used in clinical research. American Journal of Health-System Pharmacy 66, 70–81. doi:10.2146/ajhp070006

Emrich, L.J., 1990. Common Problems With Statistical Aspects of Periodontal Research Papers*. Journal of Periodontology 61, 206–208.

Moses, L.E., 1985. Statistical concepts fundamental to investigations. N. Engl. J. Med. 312, 890–897. doi:10.1056/NEJM198504043121405

Nuzzo, R., 2014. Scientific method: Statistical errors. Nature 506, 150–152. doi:10.1038/506150a

West, C.P., Dupras, D.M., 2013. 5 ways statistics can fool you—Tips for practicing clinicians. Vaccine 31, 1550–1552. doi:10.1016/j.vaccine.2012.11.086

Zuur, A.F., Ieno, E.N., Elphick, C.S., 2010. A protocol for data exploration to avoid common statistical problems. Methods in Ecology and Evolution 1, 3–14. doi:10.1111/j.2041-210X.2009.00001.x

Tips o como pequeños detalles dicen mucho de la calidad del manuscrito

Cuando recibo un manuscrito, le doy una ojeada para ver si es válido (existe coherencia entre la pregunta y el método) y relevante (¿importan estos resultados?). Luego, antes de leer in extenso, busco algunos detalles: 
  1. veo las referencias y me fijo si están formateadas como la revista lo exige. En caso de detectar inconsistencias usualmente es porque el artículo ha sido rechazado en otra revista y los autores lo enviaron de manera apresurada a otra revista. #fail
  2. ¿hay cálculo del tamaño muestral? Si lo reporta, existe una probabilidad bastante alta que sea un buen paper.
  3. si menciona test estadísticos, ¿indica la racionalidad de su elección? Por ejemplo, es distinto decir: "y los datos fueron analizados con ANOVA" a decir "se verificó la normalidad de la diferencia de medias con el test xxx y las medias fueron comparadas con el test de ANOVA. En caso de detectar diferencias significativas, se aplicó el test post hoc de Tukey..."
  4. además del inefable valor de p, ¿reporta medidas de significancia clínica? buscar IC95%, NNT. Si los reporta, existe una probabilidad bastante alta que sea un buen paper.
  5. ¿reporta medidas relativas o datos crudos?

Flujo de trabajo

  1. puedo dedicar una tarde completa dentro de las siguientes dos semanas para revisar el manuscrito? afirmativo entonces prosigo. Si no, declino
  2. el resumen: parece interesante, novedoso y válido? si es así, proseguir, en caso contrario declinar y sugerir al editor rechazar
  3. está dentro de mi área de trabajo? si es así, acepto
  4. semana 1: una vez aceptado: descargar, imprimir y leer impreso. Hacer anotaciones en el papel. Volver a leer y más anotaciones. Luego paso en limpio las anotaciones. Aprovecho de buscar papers similares publicados. Escribo el primer borrador de la revisión. 
  5. semana dos: vuelvo a leer, corrijo mi revisión. Envío junto con mi sugerencia. 
  6. espero la respuesta de los autores, repito 4 y 5 hasta que el editor decida. 

Qué es lo más importante para revisar (en orden)

  1. está clara la pregunta de investigación? 
  2. es ética? (tip: es relevante? los autores hicieron una buena revisión de la literatura? tiene implicancias significativas para el diagnóstico o tratamiento?)
  3. el material y métodos permite responder esta pregunta de manera válida?
Si estos tres puntos tienen SI, todo lo demás se puede arreglar. 


Lecturas de interés