Precisión de los chatbots de modelos de lenguaje grandes al consultar las condiciones de seguridad de RM para implantes médicos

Accuracy of Large Language Model Chatbots in Retrieving MRI Safety Conditions for Medical Implants

El artículo evalúa la precisión de chatbots de modelos de lenguaje grandes (LLM) en la recuperación de condiciones de seguridad para resonancias magnéticas (MRI) de dispositivos médicos implantables, utilizando la documentación del fabricante como estándar de referencia.

Qué problema aborda

La recuperación de las condiciones de seguridad para resonancias magnéticas de dispositivos implantables se ha vuelto cada vez más compleja y consume mucho tiempo. Este estudio busca evaluar si los chatbots habilitados para internet pueden facilitar este proceso al acceder a las instrucciones de seguridad proporcionadas por los fabricantes.

Qué hicieron los autores

Los autores llevaron a cabo una evaluación comparativa prospectiva utilizando una cohorte de dispositivos construidos y un piloto clínico retrospectivo. Se seleccionaron 50 configuraciones de dispositivos y 20 pacientes (10 con dispositivos cardíacos y 10 con dispositivos no cardíacos) referidos al Comité de Seguridad de MRI. Se realizaron solicitudes estandarizadas a ChatGPT-5.0, Gemini 2.5 Pro y Claude Sonnet 4.5 para obtener ocho parámetros de seguridad de MRI.

Qué encontraron

Los resultados mostraron que ChatGPT obtuvo una puntuación media de 4.76, significativamente más alta que Gemini (4.20) y Claude (4.17). Las precisiones de los parámetros fueron del 94% para ChatGPT, 79% para Gemini y 78% para Claude. En el piloto clínico, el ChatGPT-5.6 mostró una precisión del 98%. A pesar de estos resultados positivos, se encontraron errores en todos los chatbots, lo que resalta la necesidad de verificar directamente contra la documentación actual del fabricante antes de su uso clínico.

Limitaciones

El texto no detalla las limitaciones específicas del estudio, pero menciona que se deben considerar los errores de los chatbots, incluso el de mejor rendimiento, que requieren verificación adicional.

Lectura final

Este estudio sugiere que los chatbots de IA pueden ser herramientas útiles para ayudar al personal de MRI a recopilar información de seguridad, pero no deben sustituir la revisión humana. La verificación de las instrucciones actuales del fabricante sigue siendo crucial antes de realizar una resonancia magnética en pacientes con dispositivos implantables.