20210820 Séminaire (A Statistical Perspective on Distillation / CLIP-based styleGAN Domain Adaptation)

Intervenants : Sihwan Park, Su Minshen Sihwan Park-Distillation du point de vue des statistiques sur la distillation des connaissances 의 distribution des balises 으로대체해학습하는기술입니다. 그간Connaissance Distillation 1) Pourquoi la distillation aide-t-elle ? 2) Pourquoi des enseignants plus précis ne distillent-ils pas nécessairement mieux ? 이두사지질문에대한답을찾으려한시도사최근 ICML 2021 “Perspective statistique de la distillation” 열발표볕별별계표볕볜정
[1] Menon, AK, Rawat, AS, Reddi, S., Kim, S. et Kumar, S. (juillet 2021). Une vue statistique de la distillation. Lors de la Conférence internationale sur l’apprentissage automatique (pages 7632-7642). PMLR.
[2] Müller, R., Kornblith, S. et Hinton, G. (2019). Quand le lissage des étiquettes est-il utile ? arXiv préimpression arXiv:1906.02629.
[3] Maurer, Andreas et Massimiliano Pontier. “Empirical Bernstein Bounds and Sample Variance Penalties.” arXiv preprint arXiv:0907,3740 (2009).
[4] Guo, C., Pleiss, G., Sun, Y. et Weinberger, KQ (2017, juillet). Concernant l’étalonnage des réseaux de neurones modernes. Lors de la Conférence internationale sur l’apprentissage automatique (pages 1321-1330). PMLR.
[5] Hinton, G., Vinyals, O. et Dean, J. (2015). Affiner les connaissances dans les réseaux de neurones. arXiv préimpression arXiv:1503.02531. Adaptation du domaine styleGAN basée sur Sumin Shin-CLIP 기존StyleGAN[1] Générateur Génération 이번세미나에서소개드릴논문[3]에서는추사적인 Recherche d’images 없이, grand multimodal 모델인 CLIP[2], Adaptation du domaine StyleGAN . 자세한내용은styleGAN의 Extrapolation 문제에대한간략한 Référence
[1] Karras, Tero, Samuli Laine et Timo Aila. « Une architecture de générateur basée sur le style pour générer des réseaux de confrontation. » Actes de la conférence IEEE/CVF Computer Vision and Pattern Recognition. 2019.
[2] Radford, Alec et autres. “Apprendre des modèles visuels transférables à partir de la supervision du langage naturel.” arXiv preprint arXiv:2103.00020 (2021).
[3] Gal, Rinnon et autres. “StyleGAN-NADA : Modification de l’adaptation du domaine d’orientation pour les générateurs d’images.” arXiv preprint arXiv:2108.00946 (2021). .