Chatbots y cribado auditivo neonatal: calidad, legibilidad y fiabilidad de sus respuestas a preguntas de los padres

Qué problema aborda

Los padres recurren cada vez más a los modelos de lenguaje de inteligencia artificial (IA) para obtener información relacionada con la salud, pero la calidad y fiabilidad de la educación al paciente generada por IA sigue siendo incierta. Este estudio se centra en evaluar cómo tres chatbots responden a preguntas sobre la detección de la audición en recién nacidos.

Qué hicieron los autores

Los investigadores formularon treinta y ocho preguntas centradas en los padres sobre la detección de la audición en recién nacidos y las enviaron a tres chatbots: ChatGPT-5.1, Gemini 2.5 Flash y DeepSeek-V3. Las respuestas fueron evaluadas en términos de precisión, exhaustividad, claridad y credibilidad utilizando una escala de Likert de cinco puntos. Además, se aplicaron el índice de legibilidad Flesch (FRES) y el nivel de grado Flesch-Kincaid (FKGL) para medir la legibilidad del contenido.

Qué encontraron

DeepSeek-V3 superó a ChatGPT-5.1 y Gemini 2.5 Flash en precisión y exhaustividad (p < 0.05), aunque sus puntuaciones de claridad fueron más bajas (p < 0.05). Los puntajes de FRES (51.5-59.3) indicaron una legibilidad difícil, mientras que los puntajes de FKGL (8.4-8.9) correspondieron a un nivel de lectura de octavo grado. Gemini 2.5 Flash mostró puntuaciones de FRES más altas (p = 0.001). Las puntuaciones de mEQIP no mostraron diferencias significativas (p = 0.148) y indicaron una buena calidad general.

Limitaciones

El texto no detalla explícitamente las limitaciones del estudio.

Lectura final

Los chatbots basados en modelos de lenguaje muestran un rendimiento aceptable al responder preguntas sobre la detección de la audición en recién nacidos, aunque se observa una variabilidad considerable entre los modelos. A pesar de que los niveles de legibilidad son aceptables, el contenido generado por los chatbots sigue siendo relativamente difícil de leer. Estos modelos podrían ser recursos complementarios para los padres que buscan información sobre el tema, aunque se requiere más investigación antes de su uso clínico rutinario.