StyleRig : lier StyleGAN aux images de portrait de contrôle 3D-CVPR 2020 (verbal)

Résumé : StyleGAN génère des images de portrait réalistes de visages avec des yeux, des dents, des cheveux et un arrière-plan (cou, épaules, arrière-plan), mais manque de paramètres faciaux sémantiques pouvant être interprétés en 3D (tels que la pose du visage, l’expression et l’éclairage de la scène). d’autre part, le modèle de visage déformable en trois dimensions (3DMM) permet de contrôler les paramètres sémantiques, mais manque de réalisme lors du rendu, et ne modélise que l’intérieur du visage, et ne modélise pas les autres parties de l’image du portrait (cheveux, intérieur de la bouche). , Contexte) pour la modélisation. Nous proposons la première méthode pour fournir un contrôle StyleGAN pré-entraîné et fixe similaire à l’équipement facial via le 3DMM. Un nouveau réseau de gréement textit{RigNet} est basé sur les paramètres sémantiques du 3DMM et La formation de StyleGAN est effectuée entre les entrées. Le réseau est formé de manière auto-supervisée sans annotation manuelle. Lors des tests, notre méthode utilise le réalisme de StyleGAN pour générer des images de portrait et fournit un contrôle explicite sur les paramètres sémantiques 3D du visage. A. Tewari , M. Elgharib , G. Bharaj, F. Bernard, HP. Seidel, P. Perez, M. Zollhöfer et C. Theobalt, StyleRig: Rigging StyleGAN for 3D Control over Portrait Images Computer Vision and Pattern Recognition (CVPR), 2020 (Oral).