Modèles parcimonieux
Ref: 3MD4160
Description
Le cours introduit les principes de transformation des données et de méthodes d'optimisation présents au coeur de l'apprentisage automatique et de la science des données sous l'angle des notions de parcimonie et de robustesse, appliquées à la compression de données numériques (mp3, jpg) et à la représentation par des modèles prédictifs etc., en faisant largement appel à l'expérimentation algorithmique, à l'intuition et à l'histoire des sciences.
Période(s) du cours
SM11
Prérequis
Ce cours requiert des bases solides en algèbre linéaire et de son usage pour l'analyse des systèmes (quasi) linéaires et invariants en temps (de type filtrage) via l'analyse de Fourier (jusqu'à l'analyse harmonique), ainsi que de bonnes notions de probabilités empiriques (distributions statistiques, estimateurs). Pour les travaux pratiques, la connaisance d'un langage de scripting numérique (Matlab, Scilab, octave, Python, etc.) est requise.
Syllabus
Le cours présente un parcours en analyse de données et apprentissage via différents outils et méthodes parcimonieuses, visant à expliquer des observations par un nombre réduit de paramètres : métriques, descripteurs et transformations de données (normes, bases et trames de vecteurs, ondelettes) ; mise en oeuvre dans des algorithmes de compression de données (audio, image, vidéo, texte) ; extension aux modèles de prédictions (moments statistiques, régressions linéaires et polynomiales, modèles parcimonieux ou robustes)
Composition du cours
Sur chaque thème abordé, les étudiants sont d'abord confrontés à un problème "jouet" pour lequel ils doivent mobilisent leurs connaissances, se poser des questions et implémenter des premiers algorithmes (par binôme). Dans un deuxième temps, après un échange sur cette première phase, des aspects théoriques, des preuves mathématiques et des outils algorithmiques sont présentés. Enfin, dans une troisème partie, les étudiants mettent en oeuvre ces acquis sur un problème plus complexe.
Ressources
Les cours et travaux de pratiques sont donnés par Laurent Duval (ESIEE-Paris, Université Paris-Est Marne-la-Vallée et IFP Energies nouvelles). Les cours et travaux pratiques sont entremélés, en utilisant des signaux, des images ou des données expérimentales allant de simples simulations à des données du monde réel.
Résultats de l'apprentissage couverts par le cours
- Comprendre la motivation pratique et théorique d'algorithmes d'optimisation employés en apprentisage automatique et en science des données.
- Mettre en oeuvre les algorithmes afférents de façon adaptée en comprenant leur sens en regard du problème posé.
- Faire le lien entre les différentes méthodes et les mettre en oeuvre dans un flux de traitement de données.
- Mettre en oeuvre les algorithmes afférents de façon adaptée en comprenant leur sens en regard du problème posé.
- Faire le lien entre les différentes méthodes et les mettre en oeuvre dans un flux de traitement de données.
Support de cours, bibliographie
Le cours s'accompagne d'un support multimédia en anglais, incluant des références bibliographiques, des vidéos et des liens vers des réseaux sociaux techniques et scientifiques (de type StackOverflow/StackExchange)