Andrew Rowan-Bayesian Deep Learning avec Edward (et astuces pour utiliser Dropout)

Photographié à PyData Londres 2017, décrivant les réseaux de neurones bayésiens comme un moyen de générer une estimation de l’incertitude du modèle a suscité l’intérêt des gens. J’utilise Edward (un nouveau cadre de programmation probabiliste qui étend Python et TensorFlow) pour déduire des réseaux de neurones profonds à partir de plusieurs ensembles de données de référence. Ceci est comparé à la formation au décrochage, qui s’est récemment avérée formellement équivalente à l’inférence bayésienne approximative. Résumé Les méthodes d’apprentissage en profondeur représentent la dernière technologie dans de nombreuses applications telles que la reconnaissance vocale, la vision par ordinateur et le traitement du langage naturel. Les méthodes traditionnelles génèrent des estimations ponctuelles des poids des réseaux de neurones profonds, de sorte que les prédictions faites peuvent être trop confiantes car elles ne peuvent pas bien prendre en compte l’incertitude des paramètres du modèle. Cependant, dans les domaines de la médecine, de l’ingénierie et de la finance, disposer d’une méthode de quantification de l’incertitude des prévisions est généralement une exigence clé. Une réponse naturelle consiste à considérer la méthode bayésienne, qui fournit une méthode fondée sur des principes pour estimer l’incertitude des prévisions tout en montrant également une robustesse au surajustement. Les réseaux de neurones bayésiens ont une longue histoire.L’inférence bayésienne précise des poids de réseau est généralement délicate.Beaucoup de travaux dans les années 1990 se sont concentrés sur les approximations variationnelles et basées sur Monte Carlo. [1-3]Cependant, ceux-ci sont affectés par le manque d’évolutivité des applications modernes.Récemment, le domaine a regagné de l’intérêt, dans le but de développer des technologies pratiques et évolutives pour effectuer une inférence bayésienne approximative sur des modèles plus complexes, des architectures profondes et des ensembles de données plus volumineux. [4-10]Edward est un nouveau langage de programmation probabiliste complet de Turing basé sur Python [11]Les cadres de programmation probabilistes font souvent face à un compromis entre la gamme de modèles exprimables et l’efficacité des moteurs d’inférence. Edward peut utiliser des frameworks graphiques tels que TensorFlow pour obtenir une formation distribuée rapide, une parallélisation, une vectorisation et une prise en charge GPU, tout en permettant également la combinaison de modèles et de méthodes d’inférence pour obtenir une plus grande flexibilité. Dans cet exposé, je donnerai un bref aperçu du développement de l’apprentissage profond bayésien et montrerai les résultats de l’inférence bayésienne de l’architecture profonde implémentée dans Edward par rapport à une série d’ensembles de données accessibles au public. L’abandon est une technique empirique qui a été appliquée avec beaucoup de succès pour réduire le surapprentissage dans les modèles d’apprentissage en profondeur [12]Recentuvres récentes de Gal et Ghahramani [13] L’équivalence formelle surprenante entre le décrochage et l’inférence bayésienne approximative dans les réseaux de neurones a été prouvée. J’utiliserai la machine d’Edward pour comparer certains résultats d’inférence en moyenne avec un modèle avec un réseau de neurones entraîné par abandon. www.pydata.org PyData est un programme éducatif de NumFOCUS, une organisation à but non lucratif 501(c)3 aux États-Unis. PyData fournit un forum à la communauté internationale d’utilisateurs et de développeurs d’outils d’analyse de données pour partager des idées et apprendre les uns des autres. Le réseau mondial PyData encourage les discussions sur les meilleures pratiques, les nouvelles méthodes et les technologies émergentes pour la gestion, le traitement, l’analyse et la visualisation des données. La communauté PyData utilise plusieurs langages pour traiter la science des données, y compris (mais sans s’y limiter) Python, Julia et R. Notre objectif est d’être une conférence accessible et axée sur la communauté, des présentations de niveau débutant à avancé. Les didacticiels et conférences PyData ont présenté aux participants les dernières fonctionnalités du projet et des cas d’utilisation de pointe.