OpenAI y Google impulsan nuevos modelos de IA fácilmente engañados para generar contenido explícito, advierten investigadores

Qué ocurrió

Investigadores de White Circle, una corporación de beneficio público, han revelado que los modelos de generación de imágenes de OpenAI y Google, como DALL·E 3 y Nano Banana 2, presentan serias fallas en sus filtros de seguridad. A pesar de las promesas de protección contra la creación de contenido explícito, los nuevos modelos parecen ser más susceptibles a ataques que sus versiones anteriores.

Los datos clave

En un estudio reciente, White Circle utilizó herramientas disponibles públicamente para eludir las salvaguardias de estos modelos. Los resultados mostraron que aproximadamente el 13% de los intentos de ataque a DALL·E 3 generaron imágenes que fueron confirmadas como explícitas. Para Nano Banana 2, el porcentaje fue inferior al 10%, mientras que para GPT-Image-2 fue alrededor del 3%. Estos resultados sugieren que la seguridad de los modelos de IA no es tan robusta como se ha afirmado.

Lo que aún no se sabe

La investigación de White Circle no ha sido ampliamente promovida, y los detalles sobre las vulnerabilidades específicas encontradas en los modelos de OpenAI y Google aún no han sido comentados por estas compañías. Además, no se ha determinado si estas vulnerabilidades se deben a un enfoque en la capacidad de generación de contenido en lugar de la seguridad.

Lectura final

Este hallazgo es alarmante, ya que plantea serias preguntas sobre la responsabilidad de las empresas de IA en la creación de herramientas que pueden ser mal utilizadas. La necesidad de auditorías externas y pruebas de seguridad más rigurosas se vuelve evidente, especialmente en un momento en que la regulación de la inteligencia artificial es cada vez más crítica. La comunidad debe estar alerta ante la posibilidad de que estos modelos se utilicen para propósitos nocivos si no se implementan medidas de protección efectivas.