Evaluación de la fiabilidad de las respuestas generadas por IA a preguntas sobre cáncer de pulmón orientadas al paciente: un estudio multiplataforma

Qué problema aborda

El uso de modelos de lenguaje grandes (LLMs) ha crecido entre los pacientes que buscan información médica relacionada con el cáncer de pulmón. Sin embargo, es crucial evaluar las diferencias en la precisión y consistencia de las respuestas proporcionadas por estas plataformas, así como su adecuación para el público general.

Qué hicieron los autores

Los autores formularon 79 preguntas relacionadas con el cáncer de pulmón a tres plataformas de LLMs: ChatGPT, Claude y Google Gemini, entre diciembre de 2025 y enero de 2026. Las respuestas fueron evaluadas de manera independiente por dos cirujanos torácicos especialistas en términos de precisión, completitud, relevancia clínica y legibilidad. La reproducibilidad se evaluó mediante cinco consultas independientes repetidas, y la legibilidad se midió utilizando el nivel de grado de Flesch-Kincaid.

Qué encontraron

Los resultados mostraron que todas las plataformas alcanzaron altos niveles de precisión, sin diferencias significativas entre ellas (p = 0.150). Sin embargo, la completitud de las respuestas varió significativamente, siendo ChatGPT el que obtuvo mejores calificaciones que Claude y Gemini (p < 0.001). En cuanto a la relevancia clínica, no se observó un efecto general significativo entre plataformas (p = 0.568), aunque se identificó una interacción entre plataforma y dominio (p = 0.046). La legibilidad también mostró diferencias significativas, con Gemini siendo calificado más favorablemente que ChatGPT y Claude (p < 0.001). Todas las plataformas generaron contenido que requería niveles de lectura correspondientes a los grados 10 a 12. La reproducibilidad fue alta, con tasas entre el 88.6% y el 96.2%, sin efectos significativos entre plataformas (p = 0.072).

Limitaciones

El estudio no menciona limitaciones específicas en cuanto a la muestra o el método utilizado, lo que podría ser relevante para una comprensión más completa de los resultados.

Lectura final

Este estudio resalta la capacidad de los modelos de lenguaje para generar respuestas precisas y relevantes sobre el cáncer de pulmón, aunque también destaca variaciones en la completitud y la legibilidad de las respuestas. La alta reproducibilidad sugiere que estas herramientas pueden ser útiles, pero se requiere una validación adicional basada en pacientes antes de su integración clínica rutinaria.