L’analyse de corrélation canonique est l’une des méthodes utilisées pour explorer les réseaux de neurones profonds. Des méthodes telles que CKA et SVCCA nous révèlent des informations sur la façon dont les réseaux de neurones traitent leurs entrées. Cela se fait généralement en utilisant CKA et SVCCA comme mesures de similarité de différentes matrices d’activation. Dans cette vidéo, nous examinerons plusieurs articles comparant différents réseaux de neurones. Nous avons également examiné des articles comparant les représentations des différentes couches de réseaux de neurones. Contenu : Introduction (0:00) Corrélation (0:54) Comment utiliser CCA pour comparer la représentation (2:50) SVCCA et modèle de vision par ordinateur (4:40) Utiliser SVCCA pour vérifier le modèle de langage NLP : LSTM (9:01) PWCCA -Analyse de corrélation de norme pondérée par projection (10:22) Comment BERT multilingue représente différentes langues (10:43) CKA: Alignement du noyau central (15:25) Analyse de similarité de BERT, GPT2, ELMo et CKA (16:07 ) Convnets, Resnets, Deep Networks et Wide Networks (17:35) Conclusion (18:59) Aide-mémoire d’IA explicable : 1) Introduction à l’IA explicable : 2) Exemples d’activation neuronale et d’ensembles de données 3) Classificateur de détection : modéré Introduction (explicable AI for Deep Learning) —– Article: SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability Comprendre la dynamique d’apprentissage des modèles de langage via SVCCA et la représentation dans les réseaux neuronaux avec une pertinence normative. réseau de déviation de similarité à jetons neuronaux k Représentations Contexte revisité modèle de représentation de mots analyse de similarité réseau étendu et réseau profond apprenant la même chose ?Révélez comment la représentation du réseau de neurones change avec la largeur et la profondeur —– Twitter : Blog : Liste de diffusion : —— Plus de vidéos de Jay : Le modèle de langage Transformer Introduction visuelle de Jay au travail du principe AI GPT-3 -expliquer facilement l’échelle abstraite avec animation [interactive article by Bret Victor, 2011]
Efficacité déraisonnable de RNN (articles et commentaires visuels) [2015 article]