Les cadres d’apprentissage en profondeur traditionnels tels que TensorFlow et PyTorch prennent en charge la formation sur un seul modèle de réseau de neurones profonds (DNN), ce qui implique le calcul itérative des poids pour le modèle DNN. La conception de modèles DNN pour les tâches reste une science expérimentale, généralement une pratique d’exploration de modèles d’apprentissage en profondeur. Avec le soutien du cadre d’apprentissage en profondeur actuel, le processus de formation consistant à transformer cette formation exploratoire en un modèle DNN unique est peu intuitif, lourd et inefficace. Dans ce webinaire, Zhang Quanlu, chercheur principal de Microsoft Research Asia, et Scarlett Li, chef de projet, analyseront ces défis dans le contexte de la recherche d’architecture neuronale (NAS). La première partie du webinaire se concentrera sur Retiarii, un cadre de formation exploratoire d’apprentissage en profondeur pour les modèles DNN. Retiarii fournit également un moteur juste-à-temps (JIT) pour instancier des modèles et gérer leur formation, collecter des informations à utiliser dans les stratégies d’exploration et exécuter les décisions en conséquence. Retiarii reconnaît la corrélation entre les modèles instanciés et développe une optimisation inter-modèles pour améliorer le processus global de formation exploratoire. Retiarii y parvient en introduisant un mutateur d’abstraction clé qui relie les spécifications et les stratégies d’exploration de l’espace modèle DNN tout en exposant la corrélation entre les modèles pour l’optimisation. Les avantages incluent une facilité de programmation, des composants réutilisables et une efficacité globale de la formation exploratoire grandement améliorée (jusqu’à 8,58 fois). La deuxième partie du discours présentera la mise en œuvre de Retiarii sur le projet open source Neural Network Intelligence (NNI) et comment la boîte à outils permet aux utilisateurs de concevoir plus efficacement le NAS le plus avancé. Vous explorerez ensemble : ■ Utilisez le nouveau Mutator abstrait pour définir n’importe quel espace modèle. ■ Découplez l’espace modèle de la stratégie d’exploration de modèle, ce qui rend la stratégie d’exploration hautement personnalisable et réutilisable. ■ Exposer la corrélation entre les modèles pour l’optimisation inter-modèles, ce qui accélère considérablement l’exploration des modèles. ■ Les fonctions de la boîte à outils open source AutoML NNI et comment l’utiliser pour aider les développeurs de modèles à trouver de bons modèles. 𝗥𝗲𝘀𝗼𝘂𝗿𝗰𝗲 𝗹𝗶𝘀𝘁 : ■ Retiarii : Deep Learning Exploratory Training Framework (Publication) : ■ Neural Network Intelligence (Page Projet) : ■ Microsoft NNI (Page Projet) : ■ Canal N-UNI (YouTube) ultra-efficace : GitHub-Parameter Tuning : ■ (YouTube) Combinaison d’AdaptDL avec NNI (Étude de cas) : ■ Quanlu Zhang (Introduction à Microsoft Research) : ■ Scarlett Li (Introduction à Microsoft Research) : *Ce webinaire à la demande comprend une session de questions-réponses précédemment enregistrée et des sous-titres ouverts. Ce webinaire a été initialement diffusé le 24 juin 2021. Découvrez d’autres webinaires Microsoft Research :.