GIF : générer des visages interprétables

La visualisation et l’animation réalistes de visages humains expressifs ont toujours été un défi de longue date. Les méthodes de modélisation de visage 3D fournissent un contrôle des paramètres mais génèrent des images irréalistes.D’autre part, la génération de modèles 2D comme GAN (Generative Adversarial Network) produit des images de visage photo-réalistes, mais manque de contrôle clair. Les méthodes récentes obtiennent un contrôle partiel en essayant de démêler différents facteurs de manière non supervisée, ou en ajoutant un post-contrôle aux modèles pré-entraînés. Cependant, le GAN inconditionnel peut être empêtré dans des facteurs difficiles à défaire à l’avenir. Nous ajustons notre modèle génératif selon des paramètres de contrôle prédéfinis pour favoriser l’effilochage au cours du processus de génération. Plus précisément, nous ajustons StyleGAN2 sur FLAME (un modèle de visage 3D génératif). Bien que l’ajustement des paramètres FLAME puisse produire des résultats insatisfaisants, nous avons constaté que l’ajustement de la géométrie FLAME rendue et des détails de luminosité fonctionnait bien. Cela nous fournit un modèle de visage 2D génératif appelé GIF (Generate Interpretable Face), qui permet le contrôle des paramètres FLAME. Ici, interprétable fait référence à la signification sémantique de différents paramètres. Compte tenu de la forme, de la posture, des paramètres FLAME des expressions, des paramètres d’apparence, de l’éclairage et des vecteurs de style supplémentaires, GIF produit des images faciales réalistes. Nous avons mené une recherche sur la perception basée sur l’AMT pour évaluer quantitativement et qualitativement dans quelle mesure GIF suit sa réglementation. Code et données : Page du projet : Article : BibTeX @inproceedings{GIF:3DV:2020, titre = {{GIF} : Generative Interpretable Faces}, Auteur = {Ghosh, Partha et Gupta, Pravir Singh et Uziel, Roy et Ranjan, Anurag Et Black, Michael J. et Bolkart, Timo}, booktitle = {International Conference on 3D Vision (3DV)}, month = nov, year = {2020}, month_numeric = {11} }.