Joshua Bengio | Du Deep Learning System 1 au Deep Learning System 2 | NeurIPS 2019

Diapositive : Résumé : Les progrès passés de l’apprentissage en profondeur sont principalement axés sur l’apprentissage à partir d’ensembles de données statiques, principalement pour les tâches de perception et d’autres tâches du système 1, qui sont accomplies par les humains de manière intuitive et inconsciente. Cependant, ces dernières années, les changements dans les directions de recherche et les nouveaux outils (tels que les progrès de l’attention douce et de l’apprentissage par renforcement profond) ont ouvert la porte au développement de nouvelles architectures profondes et de nouveaux cadres de formation pour résoudre les tâches du système 2 (complétées consciemment). Les exemples incluent le raisonnement, la planification, la capture de la causalité et l’obtention de généralisations systématiques dans le traitement du langage naturel et d’autres applications. Étendre l’apprentissage en profondeur de la tâche du système 1 à la tâche du système 2 est important pour atteindre l’ancien objectif d’apprentissage en profondeur consistant à découvrir des représentations abstraites de haut niveau, car nous pensons que les exigences du système 2 mettront la pression sur l’apprentissage des représentations pour découvrir ce niveau élevé. représentation abstraite de niveau. Le concept de hiérarchie que les humains utilisent le langage pour manipuler. Nous pensons que pour atteindre cet objectif, le mécanisme d’attention douce constitue un facteur clé, c’est-à-dire basé sur la conscience antérieure et ses hypothèses associées (c’est-à-dire que de nombreuses dépendances de haut niveau peuvent être grossièrement capturées), les calculs sont concentrés sur plusieurs concepts à la fois (“pensée consciente”). À travers le graphe à facteurs clairsemés. Nous avons également discuté de la façon dont la perspective de l’agent dans l’apprentissage profond peut aider à imposer plus de contraintes sur la représentation de l’apprentissage afin de capturer la disponibilité, les variables causales et les transformations de modèle dans l’environnement. Enfin, nous suggérons que le méta-apprentissage, les aspects modulaires de la conscience a priori et les perspectives d’agent de l’apprentissage de la représentation devraient aider à réutiliser les composants appris de nouvelles manières (même si cela est statistiquement impossible, comme les contrefactuels), permettant ainsi de renforcer la généralisation du combinaison de formes, c’est-à-dire la généralisation de la distribution basée sur l’hypothèse de changements dans l’environnement local (temps, espace et espace conceptuel) provoqués par l’intervention de l’agence. .