Fraude científico

Aun acostumbrados a las debilidades humanas, nos resulta especialmente repulsivos las violaciones relacionadas con la profesión del delincuente: un pirómano de profesión bombero, un delincuente sexual sacerdote o un mentiroso de profesión científico.

Nadie duda que los científicos son humanos, es tal obviedad que da vergüenza escribirlo, y de esa humanidad esperamos cualquier tipo de comportamiento non santo menos uno: el fraude en sus resultados científicos. Discutíamos en el tema primero que ser científico es una profesión pero es también una actitud vital. En el primer sentido no extraña el fraude, pero en el segundo es intolerable, aun impensable.

Sin embargo se da, y se da más de lo que pudiera parecer. Un libro muy interesante que analiza este asunto es el de Federico di Trocchio "Las mentiras de la ciencia", en el que desgrana desde un punto de vista histórico, con mucha documentación, un buen montón de casos.

Nosotros, de momento, nos vamos a conformar con texto algo más limitado, un artículo de Mundo Científico (del que hay una versión resumida libre en la red).

Seguro que se pueden encontrar muchos textos interesantes más...

Una variante del fraude es el plagio, ¿para qué preocuparse de falsificar resultados experimentales pudiendo copiar directamente los artículos? Por sorprendente que parezca, las revistas ponen notas en las publicaciones indicando que eso no es una buena idea. El avance tecnológico ha generado herramientas antiplagio, existen aplicaciones que comparan un texto con documentación que hay por la red y evalúan automáticamente las similitudes. Hay revistas que incluso obligan a pasar un test de este tipo en el proceso de envío de originales. Es interesante ver la cantidad de sitios que aparecen buscando "plagiarism checker"... (aquí una revisión de algunas en 2021)

Se ha destapado un caso muy ilustrativo en el que se ha detectado un caso de plagio, se ha abierto una investigación y se ha terminado por ECHAR LA CULPA AL BECARIO, aunque había más firmantes, estos quedaron exonerados por su universidad. En el texto del enlace ya hay suficientes comentarios.

Actualización (Agosto 2013). Según algunos estudios recientes el número de artículos fraudulentos ha aumentado significativamente en las últimas décadas. No se cuanto de fiables serán esos estudios, habría que leerselos con detalle. La información sobre esos estudios (con enlaces a los mismos) se encuentra en este artículo de Materia.es.

Publicar resultados negativos (y el problema de no hacerlo)

Supongamos que estás intentando pulir fibra óptica embutida en resina plástica con abrasivo de alúmina y no sale, ¿Que concluyes? Hay al menos  dos opciones: (i) No se puede pulir fibra óptica por ese procedimiento, (ii) no he sabido apañármelas para pulir la fibra con esos materiales. Vale que el ejemplo es muy personal, pero no me venía otro a la cabeza ahora. El asunto es general, cuando algo no sale no sabes si es intrínseco (eso no puede ser) o si es fruto de tu incompetencia (no has sabido hacerlo bien). Lo primero sin duda sería un resultado científico valioso, interesante para otras personas, útil para ahorrar mucho tiempo, incluso para reflexionar teóricamente sobre esa imposibilidad. Lo segundo es una muestra de incapacidad personal sin valor alguno. Puestas así las cosas ¿Se deben publicar los resultados negativos? Recientemente se ha presentado una revista destinada específicamente a ello, y en “La ciencia y sus demonios” se hacían echo de ello con un artículo que merece la pena leer.

La no publicación de resultados negativos se convierte en un problema esencial en las disciplinas que tratan temas más complejos (más que el ejemplo que he puesto al comienzo y similares). En problemas más próximos a los primeros principios, la "reproducibilidad" es el juez último: si las piedras caren para abajo, un experimeto negativo es casi seguro que fue un error, y la reproducibilidad del hecho real minimiza (o aún anula) el problema de la no publicación de resultados negativos. En las ciencias de la vida, por ejemplo, las cosas son mucho más complejas, y que un medicamento, fertilizante o similar produzca el efecto deseado o no, depende de muchísimos factores. En cada experimento se analizan algunos de esos factores intentando dejar fijos todos los demás (incluyendo su efecto en experimentos "blanco"). En estos casos los resultado negativos incorporan tanta información como los positivos. De hecho las valoraciones finales sobre la efectividad de los productos testados se basan en "metaestudios" (estudios sobre los estudios) en los que se analizan los resultados obtenidos por múltiples investigadores en diversas condiciones experimentales. Es obvio que la no publicación de resultados negativos desviará el resultado final hacia positivos... falsos.

Una de las soluciones propuestas para evitar el sesgo de la publicación positiva es el preregistro de experimentos: la conveniencia (eventual obligatoriedad) de que los experimentos que se vayan a realizar hayan de ser registrados con anterioridad (en algún tipo de repositorio abierto), de forma que ocurra lo que ocurra con el experimento se disponga de la información pertinente. Sobre este tema del preregistro (incluso analizando efectos secundarios perniciosos y como minimizarlos) recomiendo leer este comentario de "neuroskeptic", especialmente centrado en psicología y neurociencias, pero extendible a todas las ciencias de la vida y a todas las ciencias en general.

Sobre toda esta cuestión, hay una estupenda charla TED de Ben Goldacre (un médico que se ha especializado en este problema). 20 minutos que merecen la pena:

Corregir errores, retirar artículos

A pesar de la revisión por pares, en lo que se publica se cuelan errores, errores menores, errores mayores y errores catastróficos que invalidan las conclusiones del trabajo original. Los errores menores se quedan a vivir en el artículo, los errores mayores pueden ser fuente del envío de una "corrección de erratas" y los errores verdaderamente importantes deberían conducir a la retirada del artículo, su "retracción". Como ya vamos viendo, en este mundo de la ciencia sobre hacer ciencia son objeto de estudio las cosas más sorprendentes, en este caso un estudio sobre si la retirada de artículos es coherente con la que debería esperarse. Otro trabajo breve sobre lo mismo, por otro autor, AQUÍ

Sobre los distintos niveles de corrección de errores (desde la fe de erratas a la retirada total) se pueden ver AQUI lo que proponen en la Biblioteca Nacional de Medicina (USA). Como ya sabemos, hay quien propone publicar incorrecciones para forzar una corrección de erratas, con lo que uno se hace con dos publicaciones a partir del mismo trabajo, dado que asume el autor que la fe de erratas tiene la consideración de una nueva publicación.  [Esto último era una broma, no vaya a ser que alguien no haya notado la ironía]

Parece que el tema del número de artículos retractados genera mucho interés. Se ha publicado recientemente un estudio que encuentra una correlación clara entre el número de artículos eliminados (medido con un índice de "retracción") y el índice de impacto de la revista. El artículo es de la revista Infection and Immunity, y está en libre acceso. Inicialmente he visto la reseña del trabajo en esta entrada de Francis, dónde se resume muy bien el artículo. ¿Se os ocurren hipótesis que expliquen esa correlación?

(Oct 2011) Y más trabajos sobre la retracción de artículos, de nuevo Francis recoge en una entrada las posibles razones que llevan a los editores a evitar la retracción de artículos. Además de la propia entrada, se referencian una serie de artículos sobre el tema (de buenas revistas) cuya revisión puede ser objeto de un trabajo interesante. No me resisto a copiar la siguiente gráfica, aunque no se muy bien de dónde sale no cómo se han calculado los datos.

Merece la pena echar un vistazo a esta divertida lista de los mejores 10 artículos retirados en 2013 (por J.M. Mulet)

Datos sobre malas prácticas

Interesantes números los que presenta esta infografía creada por Clinical Psychology, (ver el original para apreciar todos los detalles). También bajándote la imagen se ve mejor.

Created by: Clinical Psychology

Algunas malas prácticas

Algunas malas prácticas brevemente descritas en una infografía (ver original)

Involucrarse emocionalmente con los resultados

Cuando uno trata con un sistema de codificación de información o del diseño de una antena, aunque no es imposible, no es fácil involucrare emocionalmente con el objeto de estudio. En cambio en medicina, tanto el médico como el paciente suelen estar muy involucrados en la investigación sobre métodos de curación.

La tendencia que tenemos a interpretar lo que vemos en términos de lo que tiene significado para nosotros es tremenda, mucho más poderosa de lo que solemos creer. ¿No vemos una cara sonriente con dos puntos y un paréntesis :) ? La pareidolia, que es como se le llama a este fenómeno actúa constantemente y nos hace ver formas en las nubes, constelaciones a partir de las estrellas ("connecting the dots"), y cosas mucho más esotéricas. Intenta leer el conjunto de símbolos que hay debajo de estas líneas. ¿A que se puede leer? Sin embargo no hay nada escrito. Todo el mensaje es "inventado".

Este tipo de ilusiones de significado, de las que las ilusiones ópticas son un subconjunto, constituyen un riesgo importante a la hora de hacer ciencia, de interpretar los resultados que uno obtiene. Pero es que si además el sujeto (el que sufre las ilusiones) está emocionalmente involucrado la posibilidad de engaño crece exponencialmente.

La capacidad de curar por el simple convencimiento de que algo va a curar es bien conocida y tiene nombre: efecto placebo. Está estudiadísimo, y se sabe que el valor "curativo" de una pastilla que no contiene nada depende de su tamaño, color y precio. También existe su contrario, el nocebo, que consiste en el empeoramiento que se sufre al dejar de tomar algo que, aunque no tenía efecto real, tenía al paciente convencido de su funcionamiento. El conocimiento de estos efectos ha generado procedimientos para que los resultados científicos se independicen de ellos, se trata del "doble ciego", a dos grupos se les aplican tratamientos iguales (las mismas pastillas) solo que uno con el principio activo a testear y otro sin él. No deben saber cual es cual ni el paciente ni el médico (por eso lo de doble ciego), ya que se ha comprobado que la "confianza" del médico se transmite al paciente que sufre la autocuración.

Volvamos a nuestras antenas, fibras ópticas y códigos. Las antenas no sufren efecto placebo, eso es un punto a favor de nuestros campos de investigación, pero no estamos exentos ni mucho menos de pareidolias y múltiples vías de engaño. ¡¡ Mantengámonos alerta !!

El texto de la figura inicial está completo AQUI, y describe una investigación sobre acupuntura que llegó a publicarse, en la que los resultados no mostraban ningún efecto y aún así los autores concluían que el efecto era notable. Es interesante.

Fraude "inverso" (contra los porpios científicos).

Este tema se suele centrar en los fraudes de los científicos, pero también existe el "fraude" inverso, ya que ellos conforman una población expuesta a fraudes específicos.

Seguramente lo más habitual es el molesto spam científico. Es muy fácil para las empresas interesadas hacer perfiles detallados de sus víctimas, a fin de cuentas en las publicaciones figura el nombre, correo electrónico y temas de interés del autor. Con ello se preparan correos muy personalizados, en los que se ofrecen cosas que suenan interesantes. Este spam lo realizan desde empresas muy series (las editoriales de las revistas más reputadas) hasta príncipes nigerianos en versión científica, pasando por casi todo.

Un caso de engaño molesto es el de los congresos que imitan a los de verdad pero que en realidad carecen de estándares científicos mínimos y son un puro negocio para los organizadores. En ESTE artículo del New York Times se habla de ellos.

Recientemente se ha hecho especialmente grave el caso de las "editoriales depredadoras", para entender este fenómeno por favor leed esta entrada de Francis (es muy breve) de donde tomo la figura: