DeepMind x UCL | Conférence Deep Learning | 5/12 | Optimisation de l’apprentissage automatique

La méthode d’optimisation est le moteur de base qui permet au réseau neuronal d’apprendre à partir des données. Dans cette conférence, le chercheur scientifique de DeepMind, James Martens, a parlé de la base des méthodes d’optimisation basées sur le gradient et de son application dans la formation des réseaux de neurones. Les sujets principaux incluent la descente de gradient, les méthodes d’élan, les méthodes du second ordre et les méthodes stochastiques. James analyse ces méthodes à travers le cadre d’interprétation de l’approximation locale du second ordre. Téléchargez les diapositives ici: Apprenez-en plus sur la façon dont DeepMind peut améliorer l’accès aux connaissances scientifiques ici: À propos de l’orateur: James Martens est un chercheur scientifique chez DeepMind, dédié aux bases de l’apprentissage en profondeur, y compris l’optimisation, l’initialisation et la régularisation. Auparavant, il a obtenu un baccalauréat en sciences de l’Université de Waterloo et une maîtrise et un doctorat de l’Université de Toronto avec l’aide de Geoff Hinton et Rich Zemel. Au cours de son doctorat, il a montré comment former efficacement des réseaux profonds en utilisant des méthodes d’optimisation pures (maintenant une méthode standard), ce qui a stimulé l’intérêt des gens pour la formation des réseaux neuronaux profonds. À propos de la série de conférences: La série de conférences d’apprentissage en profondeur est une collaboration entre DeepMind et UCL Artificial Intelligence Center. Au cours de la dernière décennie, l’apprentissage en profondeur est devenu un paradigme majeur de l’intelligence artificielle, nous permettant d’apprendre des fonctions complexes à partir de données brutes avec une précision et une échelle sans précédent. L’apprentissage en profondeur a été appliqué à des problèmes tels que la reconnaissance d’objets, la reconnaissance vocale, la synthèse vocale, la prédiction, le calcul scientifique et le contrôle. Les applications qui en résultent touchent toutes nos vies dans les domaines de la santé et de la recherche médicale, de l’interaction homme-ordinateur, des communications, du transport, de la protection, de la fabrication et de nombreux autres domaines de l’activité humaine. Reconnaissant cet impact énorme, le pionnier de l’apprentissage profond a remporté le prix Turing 2019, qui est la plus haute distinction dans le domaine de l’informatique. Dans cette série de conférences, des chercheurs du principal laboratoire de recherche en IA DeepMind ont donné 12 conférences sur une série de sujets passionnants dans l’apprentissage en profondeur. Le contenu a couvert la modélisation avancée par la mémoire, l’attention et la modélisation générative. Des idées pour former les bases des réseaux de neurones , ainsi que des sujets importants d’innovation responsable. .