Información de calidad, comprensibilidad, aplicabilidad y legibilidad de modelos de lenguaje grande para la educación sobre salud del VIH: una evaluación entre plataformas

Qué problema aborda

El uso de modelos de lenguaje grande (LLMs) para generar materiales educativos sobre salud ha aumentado, pero su idoneidad para la educación sobre el VIH en pacientes no ha sido evaluada de manera suficiente. Este estudio busca analizar la calidad de la información proporcionada por estos modelos en el contexto de la educación sobre el VIH.

Qué hicieron los autores

Los autores realizaron un estudio transversal en el que se enviaron 100 preguntas comunes sobre la educación del VIH a seis plataformas de LLM: ChatGPT 5.4-Thinking, DeepSeek-V3.2, Doubao, ERNIE Bot 5.0 Preview, Ant Afu y Gemini 3.1 Pro. Se generaron 600 respuestas, las cuales fueron evaluadas mediante varias herramientas de medición, incluyendo el Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P), EQ IP-36, DISCERN, Global Quality Score (GQS) y otros índices de legibilidad.

Qué encontraron

Los resultados mostraron diferencias significativas entre las plataformas en todos los aspectos predefinidos relacionados con la estructura del texto, la calidad, la comprensibilidad, la aplicabilidad y la legibilidad. A nivel temático, se observaron diferencias significativas en cinco de seis resultados relacionados con la estructura del texto, la comprensibilidad y la aplicabilidad, así como en todos los índices de legibilidad. Sin embargo, la acción general fue limitada y las demandas de legibilidad fueron altas.

Limitaciones

El estudio no evaluó la precisión factual directa, la concordancia con las guías, la presencia de alucinaciones ni la seguridad clínica de los materiales generados. Esto sugiere que, aunque los LLMs pueden ser útiles, su uso debe ser complementado con la revisión experta.

Lectura final

Los hallazgos indican que los materiales educativos sobre el VIH generados por LLMs presentan una heterogeneidad considerable entre plataformas y temas. Esto respalda la idea de utilizar estos modelos como herramientas de redacción revisadas por expertos, en lugar de fuentes independientes de educación para pacientes. La calidad de la información y su aplicabilidad son aspectos clave que deben ser considerados al implementar LLMs en la educación en salud.