Tutoriel d’apprentissage profond bayésien et de construction de modèles probabilistes-ICML 2020

Apprentissage profond bayésien et perspective probabiliste de la construction de modèles Tutoriel ICML 2020 L’inférence bayésienne est particulièrement accrocheuse pour les réseaux de neurones profonds. La principale propriété distinctive des méthodes bayésiennes est la marginalisation plutôt que l’optimisation. Les réseaux de neurones sont généralement sous-spécifiés par les données et peuvent représenter de nombreux modèles différents mais très performants correspondant à différents réglages de paramètres. C’est à ce moment-là que la marginalisation fera la plus grande différence en termes de précision et d’étalonnage. Ce tutoriel est divisé en quatre parties : Partie 1 : Introduction et vue d’ensemble de la modélisation bayésienne (bases, vue d’ensemble, moyennage du modèle bayésien en apprentissage profond, incertitude cognitive, exemples) Partie 2 : Vue de l’espace fonctionnel (processus gaussien, réseau de neurones infini, neurone d’entraînement réseau sont l’apprentissage de base, apprentissage profond bayésien non paramétrique) Partie 3 : Méthodes pratiques d’apprentissage profond bayésien (perte de paysage, diversité fonctionnelle de la connexion de motifs, SWAG, échec cognitif Déterminisme, étalonnage, raisonnement subspatial, K-FAC Laplacien, MC Dropout , MCMC aléatoire, Backprop Bayesian, intégration profonde) Partie 4 : Construction et généralisation du modèle bayésien (intégration profonde, MultiSWAG, Tempering, spécification a priori, post-retrait, repenser la généralisation, double descente, compromis largeur-profondeur, etc. ! ) Diapositive : Article connexe : “Bayesian Deep Learning and a Probabilistic Perspective of Generalization” (NeurIPS 2020) Merci à Kevin Xia (Colombie) Aidez à préparer la vidéo. .