L’espace de configuration guidé par les ressources des modèles d’apprentissage profond est réduit

Comme les systèmes logiciels traditionnels, les modèles d’apprentissage en profondeur offrent un grand nombre d’options de configuration. Le modèle d’apprentissage en profondeur peut être configuré avec différents hyperparamètres et architectures neuronales. Récemment, AutoML (Automatic Machine Learning) a été largement adopté pour automatiser la formation de modèles en explorant systématiquement diverses configurations. Cependant, la méthode AutoML actuelle ne prend pas en compte les contraintes de calcul imposées par diverses ressources, telles que la mémoire disponible, la puissance de calcul de l’appareil ou le temps d’exécution. Une formation non conforme à la configuration peut entraîner l’échec de nombreux tests AutoML ou des modèles inappropriés, ce qui entraînera un gaspillage important de ressources et réduira considérablement l’efficacité du développement. Dans cet article, nous proposons DnnSAT, une méthode AutoML guidée par les ressources pour les modèles d’apprentissage en profondeur, qui peut aider les outils AutoML existants à réduire efficacement l’espace de configuration à l’avance. DnnSAT peut accélérer le processus de recherche et obtenir des performances d’apprentissage de modèle identiques, voire meilleures, car il élimine les tâches de test qui ne répondent pas aux contraintes et économise des ressources pour davantage de tests. Nous formulons la réduction de l’espace de configuration guidée par les ressources comme un problème de satisfaction de contraintes. DnnSAT inclut un modèle de coût d’analyse unifié pour créer des contraintes générales sur les poids du modèle, le nombre d’opérations en virgule flottante, le temps d’inférence du modèle et la consommation de mémoire GPU. Il utilise ensuite le solveur SMT pour obtenir des hyperparamètres et des configurations d’architecture neuronale satisfaisantes. Nos résultats d’évaluation ont prouvé l’efficacité de DnnSAT pour accélérer les méthodes AutoML les plus avancées (optimisation d’hyperparamètres et recherche d’architecture neuronale), et la vitesse moyenne des tests de référence publics a augmenté de 1,19 fois à 3,95 fois. Nous pensons que DnnSAT peut rendre AutoML plus pratique dans des environnements réels avec des ressources limitées. Yanjie Gao (Microsoft Research), Yonghao Zhu (Microsoft Research), Hongyu Zhang (Newcastle University), Mao Yang (Microsoft Research), Haoxiang Lin (Microsoft Research), *Bibliothèque numérique IEEE : créée avec Clowdr :