Algorithmes stochastiques
Ref: 3MD4010
Description
Ce cours s'inscrit dans le prolongement des cours de modélisation statistique ModStat1 et ModStat2.
Alors que ces deux premiers cours traitent de modèles relativement simples pour lesquels une estimation exacte existe, le cours "Algorithmes stochastiques" s'intéresse à l'estimation et l'inférence bayésienne dans le cas de modèles complexes comme les réseaux de neurones profonds.
Le cours traitera ainsi des algorithmes d'inférence dans les réseaux bayésiens puis des techniques de résolution approchées fondées sur l'échantillonnage et l'inférence variationnelle.
Deux applications de ces techniques seront abordées dans le domaine de l'apprentissage profond : l'apprentissage profond bayésien et les autoencodeurs variationnels.
Le cours abordera en complément une autre application de l'aléatoire en algorithmique que sont les techniques de data sketching, utilisées pour répondre à des problèmes algorithmiques de façon approchée à l'aide d'algorithmes de complexité spatiale constante.
Période(s) du cours
SM10
Prérequis
- Avoir suivi les cours "Apprentissage automatique" et "Modèles statistiques 1"
Syllabus
Volume : 9h de cours, 3h de TD, 6h de TP, 2h d'examen écrit
Cours :
- Inférence dans les réseaux bayésiens (1,5h)
- Echantillonnage (3h)
- Inférence variationnelle (1,5h)
- Apprentissage profond bayésien et autoencodeurs variationnels (1,5h)
- Data sketching (1,5h)
TD :
- Réseaux bayésiens (1,5h)
- Echantillonnage (1,5h)
TP :
- Echantillonnage (1,5h)
- Programmation statistique (1,5h)
- Apprentissage profond bayésien (1,5h)
- Data sketching (1,5h)
Examen écrit (2h)
Composition du cours
Chaque séance de cours dure 1,5h et est suivi d'une séance de TP de 1,5h de mise en application de certaines notions vues en cours.
Programmation en Python.
Ressources
- Enseignants: Frédéric Pennerath (Cours, TD, TP), Joel Legrand (TP)
- TP sur PC Linux / Python
- 2 groupes de TP
- 2 étudiants max par PC
- TP sur PC Linux / Python
- 2 groupes de TP
- 2 étudiants max par PC
Résultats de l'apprentissage couverts par le cours
- Mettre en oeuvre les techniques d'inférence approximative pour exploiter des modèles statistiques complexes.
- Appréhender le contexte général ainsi que le fonctionnement des algorithmes mis en jeu dans différents domaines du traitement de données.
Support de cours, bibliographie
- Supports de présentation du cours.
- "Machine Learning – A Probabilistic Perspective" de Kevin Murphy (MIT Press, 2012)
- "Bayesian Reasoning and Machine Learning" de David Barber (Cambridge University Press, 2012)