Respuestas de modelos de lenguaje de gran tamaño a preguntas comunes sobre la insuficiencia ovárica prematura: un análisis comparativo

Qué problema aborda

El artículo se centra en la fiabilidad de los modelos de lenguaje de gran tamaño en el contexto de enfermedades ginecológicas especializadas, específicamente la insuficiencia ovárica prematura (POI). A pesar de su creciente uso en la atención clínica, no se había verificado su precisión en este ámbito.

Qué hicieron los autores

Los autores desarrollaron 34 preguntas estandarizadas que abordan cinco áreas clave de la POI, basándose en guías clínicas internacionales. Dos obstetras y ginecólogos evaluaron de manera independiente las respuestas de los modelos utilizando una escala de Likert de 5 puntos. Se evaluó la fiabilidad entre evaluadores mediante el coeficiente kappa de Cohen y otros métodos estadísticos.

Qué encontraron

Los resultados mostraron que los tres modelos analizados (GPT-5.5, Claude Opus-4.7 y DeepSeek-R1) presentaron un rendimiento alto y consistente. Las puntuaciones de precisión oscilaron entre 4.59 y 4.84, mientras que las de completitud fueron de 4.43 a 4.65. La concordancia entre evaluadores fue calificada de "buena" a "excelente", con un acuerdo exacto entre el 91.18% y el 97.06%. GPT-5.5 destacó en el área de manifestaciones clínicas y tratamiento, mientras que DeepSeek-R1 mostró mayor estabilidad en preguntas relacionadas con la etiología y el asesoramiento.

Limitaciones

El texto no detalla limitaciones específicas del estudio ni el tamaño de la muestra utilizada.

Lectura final

Los modelos de lenguaje de gran tamaño analizados pueden ser herramientas auxiliares confiables para la recuperación de información clínica y la educación del paciente, aunque es fundamental que todo el contenido generado sea supervisado por clínicos calificados antes de su uso en la práctica clínica. Esto subraya la importancia de integrar la inteligencia artificial en la medicina con un enfoque crítico y profesional.