Benchmarking de modelos de lenguaje de acceso libre para el cuidado de la epilepsia pediátrica: un estudio prospectivo de métodos mixtos

Resumen ejecutivo
Este estudio compara la precisión, seguridad y usabilidad de cuatro modelos de lenguaje de acceso libre en escenarios estandarizados de epilepsia pediátrica, destacando el rendimiento de DeepSeek como el modelo más eficaz y seguro.
Qué problema aborda
El uso de modelos de lenguaje grande (LLMs) en la atención médica, específicamente en el contexto de la epilepsia pediátrica, ha sido insuficientemente caracterizado en términos de precisión, seguridad y usabilidad. Este estudio busca abordar esta brecha al evaluar la eficacia de diferentes LLMs en escenarios clínicos específicos.
Qué hicieron los autores
Los investigadores llevaron a cabo un estudio prospectivo de métodos mixtos en el Hospital Universitario de la Universidad King Abdulaziz en Jeddah. En la primera fase, evaluaron cuatro LLMs de acceso libre (ChatGPT, Gemini, DeepSeek y Perplexity) utilizando diez escenarios estandarizados de epilepsia pediátrica. Los outputs generados por cada modelo fueron analizados por neurólogos pediátricos en base a criterios como precisión fáctica, seguridad y adecuación clínica. En la segunda fase, el modelo con la puntuación compuesta más alta que cumplió con los criterios de seguridad predefinidos fue sometido a una evaluación en un flujo de trabajo clínico supervisado.
Qué encontraron
Se evaluaron un total de 40 respuestas de LLM. Las puntuaciones compuestas observadas mostraron diferencias significativas entre los cuatro grupos de evaluadores (P<0.001). DeepSeek obtuvo la puntuación compuesta más alta (4.94/5) y no presentó señales de seguridad críticas, a diferencia de ChatGPT y Perplexity, que tuvieron banderas de seguridad en el 30% y 80% de sus respuestas, respectivamente. La aprobación de los clínicos para el uso por parte de cuidadores fue notablemente mayor para respuestas sin banderas de seguridad (82.8%) en comparación con aquellas que las presentaron (9.1%).
Limitaciones
El diseño del estudio incluyó un solo evaluador por modelo y una muestra pequeña, lo que impide atribuir las diferencias observadas exclusivamente a los efectos de los modelos. Además, la evaluación del flujo de trabajo fue limitada y no se pueden sacar conclusiones definitivas sobre la superioridad comparativa de los modelos.
Lectura final
Este estudio resalta la importancia de realizar evaluaciones específicas por especialidad de los modelos de lenguaje, priorizando la seguridad y la precisión clínica. Los resultados sugieren que, aunque DeepSeek se destaca en este análisis, se requieren estudios más amplios y multicéntricos con evaluaciones independientes para considerar su implementación clínica rutinaria.
Sigue leyendo
Lectura clínica
Información editorial dirigida a profesionales de la salud. No sustituye la evaluación clínica, las guías vigentes ni el juicio médico.
Clasificación editorial automática
Fuente original
También en el radar
Inteligencia artificialInteligencia artificial y sueño
17 de noviembre de 2026
Inteligencia artificialInteligencia artificial en biomateriales y bioingeniería
17 de noviembre de 2026
Inteligencia artificialInteligencia artificial en cirugía estética
17 de noviembre de 2026
Inteligencia artificialApple añade nuevos controles de disco para evitar que los agentes de IA se descontrolen
17 de noviembre de 2026
¿Quieres más contexto?
Cada semana seleccionamos las señales de IA que importan, con foco en medicina.
Únete a la lista de RADAR
Te avisaremos cuando publiquemos el primer boletín y recibirás una selección breve de las señales de IA que realmente importan.
