El investigador y estudiante de doctorado en Ciencias de la Computación Giannis Daras ha descubierto un lenguaje secreto que ha creado DALL·E 2, un generador de inteligencia artificial de texto a imagen de última generación.
Se cree que DALL·E 2 inventa sus propias palabras para dar sentido a las imágenes que genera.
Luego, Daras devolvió estas palabras al sistema y, aparentemente, la IA entendió exactamente lo que estaba leyendo.
Daras cree que este es un gran agujero de seguridad para el generador de texto a imagen, ya que podría provocar ataques adversarios de puerta trasera o proporcionar formas de eludir el filtro.
A partir de ahora, los sistemas de procesamiento de lenguaje natural filtran las indicaciones de texto que violan las reglas de la política y los atacantes pueden utilizar mensajes incomprensibles para eludir estos filtros.
“Otro ejemplo: ‘Dos ballenas hablando de comida, con subtítulos’. Obtenemos una imagen con el texto ‘Wa ch zod rea’ escrito en ella.
Aparentemente, las ballenas en realidad están hablando de su comida en el idioma DALLE-2“. dijo el investigador.
Fuente: Futurism