Prompting para la alineación de legibilidad entre preguntas generadas por usuarios y respuestas de modelos de lenguaje

Qué problema aborda

La comunicación accesible en salud es crucial para la educación efectiva de los pacientes, sin embargo, gran parte de la información médica se presenta a un nivel de lectura superior al recomendado para la población general. Aunque los modelos de lenguaje (LLMs) pueden simplificar información médica compleja, existe incertidumbre sobre su capacidad para adaptar automáticamente las respuestas a la complejidad lingüística de las preguntas formuladas por los usuarios.

Qué hicieron los autores

Los investigadores analizaron 400 preguntas sobre oftalmología extraídas de comentarios en YouTube, categorizándolas en tres niveles de legibilidad según el Flesch Reading Ease Score. Se llevó a cabo una evaluación comparativa controlada de las respuestas generadas por cuatro LLMs (GPT 5.2, Gemini 3, Claude Opus 4.5 y OSS-20b) bajo cuatro condiciones de prompting: Baseline (sin control de legibilidad), Prompt de Legibilidad Informed, Inferencia de Legibilidad Semántica y Prompt Guiado por Calculadora Externa. La alineación entre la legibilidad de las preguntas y las respuestas se evaluó mediante el coeficiente kappa de Cohen.

Qué encontraron

La estrategia guiada por calculadora externa logró la mejor alineación en legibilidad entre los modelos, alcanzando el más alto acuerdo (Gemini 3: κ=0.94; GPT 5.2: κ=0.90) y manteniendo una eficiencia computacional favorable. El prompting informado por fórmulas mostró un rendimiento intermedio, mientras que la inferencia semántica demostró un bajo acuerdo debido a estimaciones de legibilidad poco fiables. Los modelos de alto rendimiento (GPT 5.2 y Gemini 3) mantuvieron una alta precisión fáctica (>98%) en todas las estrategias, lo que indica que el control de legibilidad no degradó sustancialmente la corrección. En contraste, el modelo OSS-20b mostró una precisión inferior (83.75%-90%) y mayor sensibilidad a las restricciones de legibilidad.

Limitaciones

El texto disponible no detalla limitaciones específicas del estudio.

Lectura final

La posibilidad de alinear las respuestas de los modelos de lenguaje con la legibilidad de las preguntas generadas por los usuarios es un avance significativo para mejorar la comunicación en salud. Esto sugiere que la implementación de sistemas de comunicación adaptativos podría facilitar el acceso a información médica comprensible para la población general.