Principes Théoriques de l'Apprentissage Profond

Les algorithmes d'apprentissage automatique impliquant des réseaux neuronaux profonds ont accumulé les succès empiriques à un rythme spectaculaire au cours des dernières années. Nombre de ces réussites ne peuvent être expliquées par l'intuition issue de la théorie de l'apprentissage standard. En outre, à mesure que la popularité de l'apprentissage profond augmente, le fossé entre la théorie et la pratique ne cesse de se creuser. Construire les bases d'une théorie satisfaisante de l'apprentissage profond, avec l'objectif de guider les praticiens, est un défi majeur de la recherche moderne.

Dans ce cours, nous discuterons des progrès théoriques récents réalisés pour décrire les performances empiriques des méthodes de deep learning. Nous nous concentrerons principalement sur l'étude de la capacité de *généralisation* étonnamment bonne des réseaux profonds. Considérons une tâche de classification, dans laquelle, étant donné un ensemble de features et de labels d'entraînement, nous souhaitons prédire l'étiquette inconnue d'une nouvelle caractéristique de test. Une connaissance superficielle de théorie classique de l'apprentissage laisserait penser que des modèles très complexes doivent overfitter sur les données d'apprentissage, mais la pratique a prouvé à maintes reprises que les réseaux neuronaux donnent de bons résultats malgré un surparamétrage massif. Nous décrirons quelques idées qui ont été proposées pour expliquer ce phénomène ; les sujets que nous pourrions aborder sont les suivants : théories de la généralisation (capacité, marge, stabilité, compression, ...), régularisation implicite par SGD et paysage d'optimisation, bornes PAC-bayes, approximation théorique des grands réseaux (NTK).