Los chatbots de IA luchan por entender el contexto cultural, revela un nuevo estudio

Qué problema aborda

Los modelos de IA a menudo no logran captar las sutilezas culturales que son esenciales para una comprensión profunda de diferentes sociedades. La investigación se centra en la falta de conocimiento cultural de los chatbots, que se manifiesta en su incapacidad para responder a preguntas que requieren un entendimiento más allá de los hechos superficiales.

Qué hicieron los autores

Los investigadores de Cohere Labs desarrollaron un nuevo estándar de evaluación llamado "CulturalRiddles", basado en acertijos culturales, para probar la capacidad de los modelos de IA. Durante seis meses, trabajaron con voluntarios de todo el mundo para recopilar acertijos y evaluar las respuestas de los modelos de IA. En total, se presentaron 68,154 respuestas de 28 modelos de IA, evaluadas por 166 voluntarios de 45 países y 51 idiomas.

Qué encontraron

El modelo que mejor se desempeñó fue Google’s Gemini 3.1 Pro Preview, con una precisión del 79.4%, seguido por OpenAI’s GPT-5.5 con 76.3%. En contraste, Alibaba’s Qwen 3.5 0.8B obtuvo solo un 0.4% de respuestas correctas. Los modelos a menudo optaron por adivinar respuestas en lugar de admitir que no sabían, haciendo esto solo el 0.7% del tiempo, lo que resulta preocupante. Además, aproximadamente el 31% de las respuestas verificadas fueron completamente inventadas.

Limitaciones

El estudio no detalla el tamaño de la muestra en términos de la diversidad de culturas representadas ni el método específico de evaluación de las respuestas, más allá de la participación de voluntarios.

Un ejemplo concreto

Uno de los acertijos presentado fue "¿Cuál es el 9/11 alemán?", donde solo un modelo respondió correctamente. La mayoría de los modelos confundieron la fecha, respondiendo "las Torres Gemelas", demostrando su falta de comprensión del contexto cultural que implica el formato de fecha europeo.

Lectura final

Los hallazgos de este estudio resaltan la necesidad urgente de integrar la conciencia cultural en el desarrollo de modelos de IA. A medida que estas tecnologías se utilizan globalmente, es fundamental que sean capaces de comprender y respetar las diversas culturas, no solo para mejorar su efectividad, sino también para evitar malentendidos y ofensas. La iniciativa de Cohere Labs de abrir el acceso a su benchmark CulturalRiddles es un paso positivo hacia la mejora de la comprensión cultural en la inteligencia artificial.