Détection DeepFake en analysant la trajectoire de convolution

Auteurs : Luca Guarnera, Oliver Giudice, Sebastiano Battiato Description : Le phénomène Deepfake est devenu très populaire de nos jours, grâce à la possibilité d’utiliser des outils d’apprentissage profond (principalement basés sur des réseaux ad hoc (GAN)) pour créer des images incroyablement réalistes. Dans ce travail, nous nous concentrons sur l’analyse des deepfakes de visages humains, dans le but de créer une nouvelle méthode de détection capable de détecter les traces médico-légales cachées dans les images : une empreinte digitale laissée dans le processus de génération d’images. La technologie proposée extrait un ensemble de caractéristiques locales via un algorithme de maximisation des attentes (EM), qui est spécifiquement utilisé pour modéliser le processus de génération de convolution sous-jacent. Grâce à des tests expérimentaux utilisant des classificateurs naïfs sur cinq architectures différentes (GDWCT, STARGAN, ATTGAN, STYLEGAN, STYLEGAN2), une vérification provisoire est adoptée pour l’ensemble de données CELEBA comme un fait de base de non-faux. Les résultats prouvent l’efficacité de la technologie à distinguer différentes architectures et processus de génération correspondants.