Découvrir des modèles symboliques issus du deep learning avec biais inductif (explication de thèse)

Les réseaux de neurones sont très bons pour prédire la sortie numérique du système, mais pas très bons pour dériver les équations symboliques discrètes qui contrôlent de nombreux systèmes physiques. Cet article combine un réseau de graphes avec une régression symbolique et montre que le fort biais inductif de ces modèles peut être utilisé pour dériver des équations symboliques précises à partir de données d’observation. Aperçu : 0:00-Introduction et aperçu 1:10-Énoncé du problème 4:25-Régression symbolique 6:40-Graphe réseau de neurones 12:05-Déviation d’induction physique 15:15-Graph réseau comment calculer la sortie 23:10-Perte inversion Propagation 24:30-Revue du réseau de graphes 26:10-Analogie GN et mécanique newtonienne 28:40-Du réseau de graphes à l’équation 33:50-L1 régularisation des messages de bord 40:10-Exemple de dynamique newtonienne 43:10-Exemple de cosmologie 44 : 45-Conclusion et Annexe Papier : Code : Résumé : Nous avons développé une méthode générale pour extraire des représentations symboliques de modèles profonds appris en introduisant un fort biais inductif. Nous nous concentrons sur Graph Neural Network (GNN). Le principe de fonctionnement de cette technique est le suivant : lorsque nous formons un GNN dans un cadre supervisé, nous encourageons d’abord les représentations latentes éparses, puis nous appliquons une régression symbolique aux composants du modèle d’apprentissage pour extraire des relations physiques explicites. Nous avons découvert que nous pouvons extraire les équations connues correctes du réseau de neurones, y compris la loi de la force et l’hamiltonien. Ensuite, nous avons appliqué notre méthode à un exemple cosmologique important – la simulation détaillée de la matière noire – et découvert une nouvelle formule analytique qui peut prédire la concentration de matière noire à partir de la distribution de masse des structures cosmiques voisines. Les expressions symboliques extraites de GNN à l’aide de notre technologie sont également mieux généralisées aux données hors distribution que GNN lui-même. Notre méthode fournit une direction alternative pour interpréter les réseaux de neurones et découvrir de nouveaux principes physiques à partir des représentations qu’ils apprennent. Auteur : Miles Cranmer, Alvaro Sanchez-Gonzalez, Peter Battaglia, Rui Xu, Kyle Cranmer, David Spergel, Shirley Ho Lien : YouTube : Twitter : Discord : BitChute : Minds :.