Principes Théoriques de l'Apprentissage Profond
Ref: 3MD3021
Description
Les algorithmes d'apprentissage automatique impliquant des réseaux neuronaux profonds ont accumulé les succès empiriques à un rythme spectaculaire au cours des dernières années. Nombre de ces réussites ne peuvent être expliquées par l'intuition issue de la théorie de l'apprentissage standard. En outre, à mesure que la popularité de l'apprentissage profond augmente, le fossé entre la théorie et la pratique ne cesse de se creuser. Construire les bases d'une théorie satisfaisante de l'apprentissage profond, avec l'objectif de guider les praticiens, est un défi majeur de la recherche moderne.
Dans ce cours, nous discuterons des progrès théoriques récents réalisés pour décrire les performances empiriques des méthodes de deep learning. Nous nous concentrerons principalement sur l'étude de la capacité de *généralisation* étonnamment bonne des réseaux profonds. Considérons une tâche de classification, dans laquelle, étant donné un ensemble de features et de labels d'entraînement, nous souhaitons prédire l'étiquette inconnue d'une nouvelle caractéristique de test. Une connaissance superficielle de théorie classique de l'apprentissage laisserait penser que des modèles très complexes doivent overfitter sur les données d'apprentissage, mais la pratique a prouvé à maintes reprises que les réseaux neuronaux donnent de bons résultats malgré un surparamétrage massif. Nous décrirons quelques idées qui ont été proposées pour expliquer ce phénomène ; les sujets que nous pourrions aborder sont les suivants : théories de la généralisation (capacité, marge, stabilité, compression, ...), régularisation implicite par SGD et paysage d'optimisation, bornes PAC-bayes, approximation théorique des grands réseaux (NTK).
Prérequis
- probabilités, statistiques, algèbre linéaire élémentaires
- optimisation: convexité, descente de gradient
- apprentissage statistique: PAC-learning, dimension VC
- connaissances des principes de base du deep learning
Syllabus
`
- Rappels d'apprentissage statistique et optimisation
- Bornes PAC pour les réseaux de neurones
- Bornes PAC-Bayes et bornes de compression
- Limites du framework PAC et `biais inductifs' liés à l'optimisation
- NTK et dynamique d'apprentissage
Composition du cours
Cours magistraux et TP.
Ressources
Enseignant: Hédi HADIJI
Résultats de l'apprentissage couverts par le cours
- une compréhension approfondie des aspects spécifiques à l’apprentissage profond qui le différencient d’autres techniques de machine learning.
- une connaissance de différents critères d’évaluation théoriques pour les méthodes de machine learning
- une connaissance des principales hypothèses avancées par la communauté scientifique pour expliquer des succès du deep learning, ainsi que des limites de ces hypothèses.