Evaluación del conocimiento de chatbots y especialistas en sedación pediátrica y anestesia general: un análisis comparativo

Qué problema aborda

La integración de la inteligencia artificial (IA) en la atención médica ha crecido rápidamente, y los chatbots basados en modelos de lenguaje se están explorando como herramientas potenciales para la educación y el apoyo clínico. Sin embargo, su desempeño en áreas médicas complejas como la sedación y la anestesia general no ha sido suficientemente investigado.

Qué hicieron los autores

Los autores realizaron un estudio descriptivo y comparativo utilizando un cuestionario de 26 ítems de verdadero/falso, basado en las guías de la ASA, AAP, ADA y AAPD. Este cuestionario fue administrado a tres modelos de chatbots (ChatGPT 4.0 Mini, Gemini 1.5 Pro y Claude 3 Sonnet) y a 72 participantes humanos (24 por especialidad: anestesiólogos, dentistas pediátricos y cirujanos orales y maxilofaciales). Se utilizó una técnica de "zero-shot prompting" para evaluar a los chatbots y se aplicaron análisis estadísticos para comparar los resultados.

Qué encontraron

Los resultados mostraron diferencias significativas entre todos los grupos evaluados ($p < 0.001$). Los chatbots Claude 3 Sonnet (92.8%) y Gemini 1.5 Pro (91.7%) demostraron alta precisión en la recuperación de información basada en guías, mientras que los anestesiólogos alcanzaron el mejor desempeño entre los clínicos humanos (87.0%). Aunque los modelos de chatbot fueron competentes en la recuperación de datos sobre "Información General" y "Monitoreo Postoperatorio", los anestesiólogos superaron significativamente a los modelos de IA en "Evaluación y Preparación del Paciente" (91.7%), lo que destaca una brecha crítica en el razonamiento clínico de la IA en comparación con la experiencia humana.

Limitaciones

El texto disponible no detalla limitaciones específicas del estudio.

Lectura final

Los hallazgos sugieren que, aunque los chatbots como Claude y Gemini tienen un alto grado de precisión en la recuperación de información sobre sedación pediátrica, la evaluación preoperatoria que realizan los anestesiólogos resalta la importancia del juicio clínico humano. Así, la integración de la IA en este campo debería seguir un modelo sinérgico, posicionando a los modelos de lenguaje como herramientas auxiliares bajo supervisión humana obligatoria.