Evaluación de Modelos de Lenguaje Grande para Información sobre Artroplastia Total de Rodilla en Osteoartritis de Rodilla: Desarrollo y Aplicación del Composite Clinical Reliability Score

Qué problema aborda

La artroplastia total de rodilla es el tratamiento quirúrgico definitivo para la osteoartritis avanzada de rodilla. A medida que los pacientes recurren a los modelos de lenguaje grande para obtener orientación médica, surgen preocupaciones sobre la fiabilidad, seguridad y legibilidad de la información que reciben.

Qué hicieron los autores

Los investigadores utilizaron 90 preguntas sobre TKA extraídas de la función "People Also Ask" de Google para evaluar tres LLMs diferentes. Dos cirujanos ortopédicos entrenados evaluaron de forma independiente las respuestas generadas por los modelos en dos momentos diferentes, empleando seis dominios del CCRS: precisión fáctica, corrección clínica, adherencia a las pautas GRADE, severidad del índice de alucinación, puntuación de seguridad clínica y validez de la citación de evidencia. Además, se evaluó la legibilidad mediante el Índice Coleman-Liau, corroborado por otros índices de legibilidad.

Qué encontraron

Los resultados mostraron que el Programa 2 obtuvo la puntuación más alta en el CCRS (mediana 84.0), superando al Programa 3 (76.5) y al Programa 1 (73.0) con una diferencia estadísticamente significativa (P < 0.0001). El Programa 2 destacó en precisión, adherencia a las pautas, control de alucinaciones y en la presentación de información segura. Por otro lado, el Programa 3 mostró una mejor validez de citación de evidencia. En términos de legibilidad, el Programa 2 fue el más accesible, mientras que el Programa 3 fue el menos legible, con diferencias significativas (P < 0.0001).

Limitaciones

El estudio señala que los hallazgos son exploratorios y no deben considerarse como un ranking definitivo, dado que las salidas de los LLM son no deterministas y están en constante actualización.

Lectura final

Este estudio es relevante para los profesionales de la salud, ya que destaca la utilidad y las limitaciones de los modelos de lenguaje en la provisión de información médica a los pacientes. Aunque los LLMs pueden complementar la consulta profesional, su uso debe ser cauteloso, y su información debe ser validada por expertos en el área.