[SIGGRAPH 2020] Conversion de style de mouvement non apparié de la vidéo à l’animation

Kfir Aberman, Yijia Weng, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen. La conversion du style de mouvement de la vidéo à l’animation, le trading graphique ACM (SIGGRAPH 2020). Page du projet : Code : Résumé : Cela a toujours été un problème de longue date dans l’animation de personnages pour transférer le style d’animation d’un clip d’animation à un autre tout en conservant le contenu animé de ce dernier. La plupart des méthodes basées sur les données existantes sont supervisées et reposent sur des données appariées, où les mouvements avec le même contenu sont exécutés de différentes manières. De plus, ces méthodes se limitent au transfert de style observé lors de l’entraînement. Dans cet article, nous proposons un nouveau cadre basé sur les données pour le transfert de styles sportifs, qui apprend à partir d’ensembles sportifs non appariés avec des étiquettes de style et peut transférer des styles sportifs non observés pendant l’entraînement. De plus, notre framework est capable d’extraire des styles de mouvement directement de la vidéo, de contourner la reconstruction 3D et de les appliquer au mouvement d’entrée 3D. Notre réseau de transmission de style code le mouvement en deux codes potentiels, un pour le contenu et un pour le style, chacun jouant un rôle différent dans le processus de décodage (synthèse). Bien que le code de contenu soit décodé par plusieurs couches convolutives temporelles en mouvement de sortie, le code de style modifie les caractéristiques profondes grâce à la normalisation d’instance adaptative invariante dans le temps (AdaIN). De plus, bien que le code de contenu soit encodé à partir de la rotation conjointe 3D, nous avons appris un style commun d’intégration à partir de la position conjointe 3D ou 2D pour pouvoir extraire le style de la vidéo. Bien que des données d’entraînement appariées ne soient pas nécessaires, nos résultats sont comparables aux résultats de pointe et surpassent les autres méthodes de transfert de modèles inédits. À notre connaissance, nous sommes les premiers à démontrer le transfert de style directement de la vidéo à l’animation 3D. Cette capacité permet aux utilisateurs d’étendre la collection d’exemples de style bien au-delà des actions capturées par le système MoCap.