Los detectores de videos deepfake pueden ser engañados

Los sistemas diseñados para detectar deepfakes (videos que manipulan imágenes de la vida real a través de inteligencia artificial) pueden ser engañados, demostraron científicos informáticos por primera vez en la conferencia WACV 2021.

Los investigadores demostraron que los detectores se pueden derrotar insertando entradas llamadas ejemplos adversarios en cada cuadro de video.

Los ejemplos adversarios son entradas ligeramente manipuladas que hacen que los sistemas de inteligencia artificial, como los modelos de aprendizaje automático, cometan un error.

Además, el equipo demostró que el ataque aún funciona después de comprimir los videos.

“Nuestro trabajo muestra que los ataques a detectores deepfake podrían ser una amenaza del mundo real“, dijo Shehzeen Hussain, Ph.D. en ingeniería informática de UC San Diego. estudiante y primer coautor del artículo de WACV.

“Lo que es más alarmante, demostramos que es posible crear robustos deepfakes adversarios incluso cuando un adversario puede no estar al tanto del funcionamiento interno del modelo de aprendizaje automático utilizado por el detector“.

En deepfakes, la cara de un sujeto se modifica para crear imágenes convincentes y realistas de eventos que en realidad nunca sucedieron.

Como resultado, los detectores de deepfake típicos se enfocan en el rostro en los videos: primero lo rastrean y luego pasan los datos del rostro recortado a una red neuronal que determina si es real o falso.

Por ejemplo, el parpadeo de los ojos no se reproduce bien en los deepfakes, por lo que los detectores se centran en los movimientos oculares como una forma de tomar esa determinación.

Los detectores de deepfake de última generación se basan en modelos de aprendizaje automático para identificar videos falsos.

La amplia difusión de videos falsos a través de las plataformas de redes sociales ha suscitado importantes preocupaciones en todo el mundo, lo que ha obstaculizado especialmente la credibilidad de los medios digitales, señalan los investigadores.

“Si los atacantes tienen algún conocimiento del sistema de detección, pueden diseñar entradas para apuntar a los puntos ciegos del detector y evitarlo“, dijo Paarth Neekhara, otro primer coautor del artículo y estudiante de informática de UC San Diego.

Los investigadores crearon un ejemplo adversario para cada rostro en un cuadro de video.

Pero si bien las operaciones estándar, como comprimir y cambiar el tamaño de un video, generalmente eliminan los ejemplos contradictorios de una imagen, estos ejemplos están diseñados para resistir estos procesos.

El algoritmo de ataque hace esto estimando sobre un conjunto de transformaciones de entrada cómo el modelo clasifica las imágenes como reales o falsas.

A partir de ahí, utiliza esta estimación para transformar imágenes de tal manera que la imagen adversaria siga siendo efectiva incluso después de la compresión y descompresión.

A continuación, se inserta la versión modificada de la cara en todos los fotogramas de video.

Luego, el proceso se repite para todos los fotogramas del video para crear un video deepfake.

El ataque también se puede aplicar a detectores que operan en cuadros de video completos en lugar de solo cultivos de caras.

El equipo se negó a publicar su código para que no fuera utilizado por partes hostiles.

Los investigadores probaron sus ataques en dos escenarios: uno en el que los atacantes tienen acceso completo al modelo del detector, incluida la tubería de extracción de rostros y la arquitectura y los parámetros del modelo de clasificación.

Y uno en el que los atacantes solo pueden consultar el modelo de aprendizaje automático para determinar las probabilidades de que un fotograma se clasifique como real o falso.

En el primer escenario, la tasa de éxito del ataque es superior al 99 por ciento para videos sin comprimir.

Para los videos comprimidos, fue del 84,96 por ciento.

En el segundo escenario, la tasa de éxito fue del 86,43 por ciento para los videos sin comprimir y del 78,33 por ciento para los videos comprimidos.

Este es el primer trabajo que demuestra ataques exitosos a detectores de deepfake de última generación.

“Para usar estos detectores deepfake en la práctica, argumentamos que es esencial evaluarlos contra un adversario adaptativo que es consciente de estas defensas y está tratando intencionalmente de frustrar estas defensas“, escriben los investigadores.

“Demostramos que los métodos actuales de vanguardia para la detección de deepfake pueden evitarse fácilmente si el adversario tiene un conocimiento completo o incluso parcial del detector“.

Para mejorar los detectores, los investigadores recomiendan un enfoque similar a lo que se conoce como entrenamiento adversario:

Durante el entrenamiento, un adversario adaptativo continúa generando nuevos deepfakes que pueden eludir el detector actual de última generación; y el detector sigue mejorando para detectar los nuevos deepfakes.

Fuente: UC San Diego News Center