Antes de comenzar, recuerda que la ciencia no tiene todas las respuestas. Muchas de las afirmaciones científicas son provisionales hasta que otra persona o grupo de investigación las confirme o las desmienta. La mayoría de las veces los resultados sugieren, algunas veces demuestran, pero de forma provisional. Por eso, los científicos están acostumbrados a rectificar y a rehacer sus hipótesis.
1. ¿Se presentan los datos con el error asociado?
Ninguna medida es exacta. Prácticamente todas las medidas tienen algún tipo de error de cálculo. Si mides un proceso varias veces, lo normal es que obtengas resultados diferentes; por eso los resultados deben presentarse siempre con el error asociado a la medición. El error es algo intrínseco al hecho de medir o cuantificar algo.
2. ¿Tiene la muestra un tamaño adecuado?
Cuanto mayor sea el tamaño de la muestra que se está analizando, menor será el error. Los resultados obtenidos con un mayor número de observaciones suelen ser más informativos y fiables que los que se obtienen de un menor número de datos. Es decir, conforme acumulamos más evidencias nuestro conocimiento mejora. Esto es especialmente importante en las encuestas o cuando nuestro estudio está sujeto a variaciones naturales o a errores de medida, como son los ensayos clínicos. La efectividad de un tratamiento puede variar de forma natural entre personas distintas, por eso un ensayo clínico o una vacuna es más fiable si se ensaya en decenas de miles de individuos que si se hace en unos pocos cientos. Algunas publicaciones científicas presentan conclusiones al analizar unos pocos casos, que no se confirman cuando el número de casos estudiado es mayor.
3. ¿Incluye un análisis estadístico?
Los resultados se deben analizar desde el punto de vista estadístico. La significación estadística, expresada como «P», es una forma de medir la probabilidad de que un resultado ocurra por casualidad. Una P = 0,01 quiere decir que hay una probabilidad entre cien de que lo que parece un efecto del tratamiento haya ocurrido en realidad por azar. Por eso, cuanto menor sea la P más fiable será el resultado. Normalmente se suele aceptar que una P inferior a 0,05 (uno entre veinte) es un resultado estadísticamente significativo. Pero que un resultado sea estadísticamente significativo no quiere decir que la seguridad de que sea cierto sea del cien por cien. Por otra parte, un resultado que sea estadísticamente no significativo (por ejemplo, con una P mayor de 0,05) no quiere decir que el resultado sea nulo y que no haya habido ningún efecto. Significa que no se ha detectado ningún efecto, que es distinto. Quizá si el tamaño de la muestra fuera mayor se podría haber observado algún efecto.
4. La distribución o elección de las muestras, ¿esa aleatoria?
En el diseño de un experimento es muy importante que la distribución de las muestras sea aleatoria. Es decir, colocar a los individuos o a los grupos sobre los que se va a intervenir de forma aleatoria, al azar. Si no se actúa sobre los sujetos a estudio de forma aleatoria, puede haber un sesgo en el estudio que invalide los resultados o su interpretación.
5. ¿Se han descartado valores extremos?
El sesgo también ocurre cuando un investigador deja de ser lo suficientemente crítico, objetivo e imparcial con sus propios resultados, cesa de investigar si hay evidencias contrarias a su hipótesis de partida o muestra sus resultados de forma selectiva, subjetiva o exagerada. Por ejemplo, no se puede descartar que los valores extremos que se suelen obtener en un experimento sean debidos a anormalidades debidas al azar o a errores de medida, y que por tanto no sean reales. Por eso hay que evitar la tentación de prescindir de los valores extremos o de no tenerlos en cuenta porque nos estropean la interpretación de los resultados o la hipótesis de partida.
6. Los experimentos, ¿tienen controles y estos son los adecuados?
Todos los experimentos deben tener su propio grupo control. En un ensayo para comparar la eficacia de una vacuna experimental con otra que ya esté en uso, por ejemplo, un control negativo sería el grupo de personas al que no se vacuna y el control positivo el grupo al que se administra la vacuna ya en uso. En el ensayo se compararían los resultados de la vacuna experimental con estos dos controles. Al grupo de control hay que tratarlo igual que al experimental, excepto por el hecho de que no se le aplica el tratamiento. Sin un control en el experimento es muy difícil determinar si un tratamiento realmente ha sido efectivo o no. El control ayuda a los investigadores a interpretar los resultados obtenidos y a estar seguros de que estos no son debidos a otras variables que hayan podido afectarlos. Algunos artículos científicos se rechazan por no haber incluido los controles adecuados.
7. ¿Incluye un grupo control “placebo”?
En los ensayos clínicos algunas personas pueden dar positivo debido al contexto, a la persona que interviene o incluso ¡al color de la pastilla! Es lo que se denomina efecto placebo, un fenómeno que ocurre cuando los síntomas de un paciente mejoran por el tratamiento con una sustancia inocua control, es decir, una sustancia que no tiene ningún efecto relacionado con el tratamiento de la enfermedad.
8. ¿El experimento es de “doble ciego”?
El diseño del propio experimento o el método de medida pueden producir resultados atípicos o sesgados en una determinada dirección. Por ejemplo, en un ensayo clínico el resultado puede estar influenciado por las expectativas que tengan los participantes en dicho ensayo. Pero, además, el mismo investigador que recoge y analiza los resultados puede también estar influenciado si conoce el tratamiento de antemano. Por eso, lo ideal en este tipo de ensayos son los experimentos que se denominan doble ciego, en los que ni los participantes ni el propio investigador conocen quién ha recibido qué tratamiento concreto.
9. ¿Cuántas veces se ha repetido el experimento?, ¿es un ensayo multicentro?
Los resultados que son consistentes en estudios repetidos en poblaciones independientes son mucho más fiables. Cuanto más se repita un experimento más fiable será: con una observación única se puede sacar muy pocas conclusiones. Lo más convincente es que un grupo de investigación independiente repita el experimento y obtenga el mismo resultado. Es lo que se denomina un ensayo multicentro: varios grupos de investigación independientes realizando el mismo experimento.
10. ¿Los resultados se han obtenido en animales o en seres humanos?
Un caso a tener en cuenta es que los resultados positivos en los experimentos con animales no siempre se repiten en los seres humanos. Por eso, puede haber resultados excelentes de vacunas o de tratamientos en condiciones de laboratorio, en cultivos celulares o en animales de experimentación que en humanos no funcionen.
11. ¿Se confunde la causa de un hecho con la correlación?
Correlación no implica causalidad. Suele ser muy tentador asumir que un determinado hecho es la causa de otro. Sin embargo, quizá esa correlación entre hechos sea solo una mera coincidencia. El hecho de que dos eventos se den habitualmente de manera consecutiva no implica que uno sea causa del otro. Un ejemplo puede ser la correlación en el tiempo entre la edad a la que se ponen algunas vacunas y la aparición del autismo (ambas en los primeros años de vida), que no implica que la causa del autismo sean las vacunas.
12. ¿Hay una interpretación exagerada de los resultados?
Extrapolar más allá de los datos suele ser arriesgado. Los patrones de comportamiento encontrados en un determinado experimento no necesariamente pueden aplicarse fuera de ese experimento concreto. Sin ir más lejos, es muy difícil predecir cómo se va a comportar una pandemia cuando los cambios son muy rápidos o nuevos o cuando cambian las condiciones (con o sin vacunación), o simplemente comparándolo con otras pandemias anteriores. En la interpretación de los resultados hay que tener en cuenta que puede haber muchas explicaciones diferentes para un mismo fenómeno. Si los resultados se simplifican y se atribuyen a un solo factor, se puede cometer un error de interpretación. Por eso, las comparaciones de resultados que dependen de muchos factores suelen ser poco fiables.
Fuente:
Erviti, M. C., Salaverría, R., León, B., Martínez-Costa, M. P., López-Goñi, I. (2022). Mentiras contagiosas. Guía para esquivar la desinformación en salud. Pamplona: Servicio de Publicaciones de la Universidad de Navarra. DOI: https://doi.org/10.15581/978-84-8081-720-2
También te puede interesar: