Mise à jour hebdomadaire de l’IA-16 juin 2021 (#35 !)

Les liens de contenu suivants : Modèle génératif comme source de données pour l’apprentissage de représentations multi-vues : Apprendre en observant le bruit Observation : Extraction de connaissances : Un bon enseignant est patient et cohérent : L’extraction de connaissances est-elle vraiment efficace ? AdaMatch : Apprentissage comparatif autodestructeur : Transformateur auto-supervisé masqué pour la représentation visuelle : Générer des données à partir de la discrimination d’instances Exemple efficace : Transformer visuel à l’échelle : CoAtNet : Améliorer le comportement du modèle de langage en s’entraînant sur un ensemble de données organisé : Utiliser le modèle de langage dynamique pour développement du contenu : GPT-J-6B : An Empirical Survey of Data Augmentation for Limited Data Learning in NLP : Meta-Learning with Less Task through Task Interpolation : Exploring the Limits of Out-of-Distribution Detection : Self-Supervised Learning with Data L’augmentation isole de manière prouvée le contenu du style : utilisez des balises auxiliaires pour la motivation causale Suppression des raccourcis : méthode de placement graphique pour une conception rapide des puces : représentation de pré-entraînement d’apprentissage par renforcement efficace des données : l’encodeur de pré-entraînement est ce dont vous avez besoin : CodeXGLUE : HF Zero Shot Classification : Cours HuggingFace : Apprentissage neuronal structuré : GPT-3 vs GPT-Neo Image de données : Génération audio vers vidéo : Text-to-S QL à l’état sauvage : VALEUR : Évaluation de la compréhension de la vidéo et du langage Benchmark multi-tâches : Chapitre 0:00 Introduction 15:17 Modèle génératif comme source de données pour l’apprentissage de la représentation multi-vues 18:14 Regarder et apprendre le bruit 21:01 Extraction des connaissances : un bon enseignant est patient et cohérent 24:30 Extraction des connaissances Est-ce que ça marche vraiment ? 26:37 AdaMatch 29:47 Apprentissage autodestructeur du contraste 31:35 Convertisseur auto-supervisé masqué pour la représentation visuelle 33:12 Générer des exemples efficaces de données à partir de l’identification d’instances 34:34 Convertisseur visuel à l’échelle 36:48 CoAtNet 38: 17 Améliorer le modèle de langage grâce à des comportements formés sur des ensembles de données organisés 39:11 Modèle de langage dynamique pour le développement continu du contenu 40:38 GPT-J-6B 41:43 Enquête empirique sur l’amélioration des données pour un apprentissage limité des données en PNL 43:03 Passe Moins de tâches pour le méta-apprentissage interpolation de tâches 44:24 Exploration des limites de la détection hors distribution 45:10 Causalité dans l’apprentissage en profondeur 46:42 Méthode de placement graphique pour la conception rapide de puces 47:49 Représentation de pré-entraînement pour l’apprentissage par renforcement efficace des données 49 :20 CodeXGLUE 49 : 52 Classification HF Zero Shot 50:24 Cours HuggingFace 50:52 Apprentissage de la structure neuronale 51:09 Image de données GPT-3 et GPT-Neo 52:12 Génération audio vers vidéo 52:55 Nouveau papier et ensemble de données de code