Pourquoi le deep learning est efficace : l’autorégulation dans les réseaux de neurones

Pourquoi l’apprentissage en profondeur est efficace : l’autorégulation dans les réseaux de neurones, en collaboration avec Michael Mahoney de l’Université de Californie à Berkeley, a utilisé le mécanisme de la théorie des matrices aléatoires (RMT) pour présenter des résultats empiriques, visant à clarifier et à résoudre certains problèmes déroutants et apparemment aspects contradictoires Deep Neural Network (DNN). Nous avons appliqué le RMT à plusieurs modèles pré-entraînés bien connus : LeNet5, AlexNet et Inception V3, ainsi qu’à 2 petits modèles de jouets. Nous montrons que le processus d’apprentissage DNN lui-même implémente implicitement une forme d’autorégulation liée à l’effondrement de l’entropie/au goulot d’étranglement de l’information. Nous avons constaté que l’autorégulation dans un petit modèle comme LeNet5 est similaire à la régularisation familière de Tikhonov, tandis que les grands réseaux profonds modernes montrent une nouvelle autorégulation à queue lourde. Nous utilisons la RMT pour caractériser l’autorégulation en identifiant la méthode de classification dans la phase d’apprentissage 5+1. Ensuite, à travers notre modèle jouet, nous montrons que même en l’absence de tout mécanisme de régularisation clair, le processus de formation DNN lui-même conduira à de plus en plus de modèles de contrôle de capacité. Il est important de noter que ce phénomène est fortement influencé par les nombreux boutons utilisés pour optimiser la formation DNN. En particulier, nous pouvons induire une autorégulation de la queue lourde en ajustant la taille du lot lors de l’apprentissage, afin de tirer parti du phénomène unique d’écart de généralisation de DNN. Nous pensons que cette autorégulation à queue lourde a une signification pratique, qui peut non seulement concevoir de meilleurs DNN, mais également fournir une signification théorique profonde pour comprendre les modèles énergétiques/problèmes d’optimisation DNN complexes. .