Au-delà du mode 28-Petar Veličković-Apprentissage profond géométrique

0:00 Discours de bienvenue 2:43 Projet Erlangen 7:46 Introduction à l’apprentissage profond de la géométrie 8:04 L’apprentissage en grande dimension est difficile 10:14 Symétrie, regroupement et invariance 23:17 Le plan de l’apprentissage profond géométrique 27:29 Apprentissage profond de la géométrie “5G” 29:25 Graphiques 42:06 Grilles 48:19 Groupes 57:24 Géodésiques et Jauges 1:01:53 Discussion 1:13:31 Résumé et clôture C’est un plaisir d’accueillir l’attention de notre laboratoire de Deep ! Résumé : Les dix dernières années ont vu la révolution expérimentale de la science des données et de l’apprentissage automatique représentée par les méthodes d’apprentissage en profondeur. En fait, de nombreuses tâches d’apprentissage de grande dimension qui étaient auparavant considérées comme hors de portée, telles que la vision par ordinateur, jouer au Go ou le repliement des protéines, sont en fait réalisables à l’échelle de calcul appropriée. Il convient de noter que l’essence de l’apprentissage profond repose sur deux principes algorithmiques simples : d’une part, le concept de représentation ou d’apprentissage de la caractéristique, où la caractéristique ajustée, généralement hiérarchique, capture les règles appropriées pour chaque tâche. est appris par des gradients locaux – des méthodes de type descente, qui sont généralement implémentées en rétropropagation. Bien que l’apprentissage de fonctions générales dans des dimensions élevées soit un problème d’estimation maudit, la plupart des tâches d’intérêt ne sont pas générales et ont des lois de base prédéfinies générées par la faible dimension et la structure sous-jacente du monde physique. Cette conférence consiste à révéler ces lois à travers des principes géométriques unifiés qui peuvent être appliqués à un large éventail d’applications. Cet effort « d’unification géométrique » dans l’esprit du programme Erlangen de Felix Klein a un double objectif : d’une part, il fournit un cadre mathématique général pour étudier les architectures de réseaux de neurones les plus réussies, telles que CNN, RNN, GNN et Transformers. D’autre part, il fournit une procédure constructive pour intégrer les connaissances physiques antérieures dans l’architecture neuronale, et fournit une méthode de principe pour construire une future architecture qui n’a pas encore été inventée. Biologie : Petar Velikovi est chercheur principal chez DeepMind. Il a obtenu un doctorat en informatique de l’Université de Cambridge (Trinity College) sous la direction de Pietro Liò. Ses intérêts de recherche incluent la conception d’architectures de réseaux neuronaux qui fonctionnent sur des données structurées non triviales (telles que des graphiques) et leurs applications dans le raisonnement algorithmique et la biologie computationnelle. Il a publié des recherches pertinentes dans ces domaines dans le domaine de l’apprentissage automatique (NeurIPS, ICLR, ICML-W) et des domaines et revues biomédicales (Bioinformatics, PLOS One, JCB, PervasiveHealth). En particulier, il est le premier auteur de Graph Attention Networks (une couche convolutive de graphes populaire) et de Deep Graph Infomax (un pipeline d’apprentissage non supervisé local/global évolutif pour les graphes (une fonctionnalité de ZDNet)). En outre, ses recherches ont été utilisées pour améliorer considérablement la prévision du temps de trajet dans Google Maps (rapporté par CNBC, Endgadget, VentureBeat, CNET, Verge et ZDNet). Site Web d’apprentissage en profondeur géométrique : article de blog de Michael Bronstein sur l’apprentissage en profondeur géométrique : discours de Petar à Cambridge : la vidéo a été publiée sous CC BY 4.0. N’hésitez pas à partager et à réutiliser. Découvrez le “Au-delà du mode” sans publicité ici : Rappels pour regarder de nouvelles vidéos sur Twitter ou LinkedIn. De plus, veuillez rejoindre notre réseau pour obtenir des informations sur les discussions, les vidéos et les opportunités d’emploi dans les groupes Facebook et LinkedIn. Référence musicale : Damiano Baldoni -Thinking of You (Intro) Damiano Baldoni-Poenia (Outro) Référence musicale : Damiano Baldoni-Thinking of You (Intro) Damiano Baldoni-Poenia (Outro).