But du cours
Le but de ce cours est de couvrir des notions avancées en apprentissage profond. Il vise également à sensibiliser aux problématiques connexes telles que la fuite de données, le respect de la vie privée et l'impact environnemental.
Acquis d'apprentissage visés
- Concevoir, développer et utiliser des outils et des applications intégrant la gestion des données et leur valorisation(1,5)-(1,4)
- Définir, mettre en oeuvre et utiliser une analyse descriptive et prédictive en exploitant des données massives(2,5)-(2,4)
- Appliquer les méthodes d’analyse des données multimédia (images, signaux)(2,5)-(2,4)
Prérequis
Modules suivants :
- "Apprentissage automatique" et "Système de données massives" du S7.
- "Fouille de données" du S6.
- "Probabilités et variables aléatoires" du S5 et "Processus stochastiques" du S6.
Programme
En fonction de l’origine des étudiants présents (mobilités entrantes ...), un rappel sur les notions de l’apprentissage profond pourra être fait.
Les thématiques avancées suivantes pourront être abordées :
- Auto-encodeurs et usages ;
- Modèles génératifs profonds, tels que les réseaux de neurones adversaires génératifs (GANN) et applications pour lesquelles ils peuvent être utilisés ;
- Les défis pratiques de ces approches, par exemple : la convergence, le mode collapse, etc.
- Approches pour traiter ou atténuer les effets des phénomènes décrits ci-dessus.
La sensibilisation aux problématiques de respect de la vie privée constituent un élément additionnel de choix qui n’est pas abordé plus tôt dans le programme. Cela peut à la fois faire référence aux problèmes posés par les jeux de données utilisés pour l’apprentissage mais également dans les résultats publiés ou même les poids intégrés dans les réseaux de neuronnes et qui peuvent trahir des élèments de l’ensemble d’apprentissage.
Enfin, la sensibilisation aux problèmatiques du coût de l’entrainement des modèles profonds et de leur impact carbone pourra être abordé, ainsi que les pistes pour limiter ces derniers.
Modalités d'évaluation
Un contrôle de connaissances, un compte rendu de TP, une présentation orale.
Bibliographie
Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep learning. MIT press. Boulemtafes, A., Derhab, A., Challal, Y. (2020). A review of privacy-preserving techniques for deep learning. Neurocomputing, 384, 21-45. Ligozat, A. L., Luccioni, S. (2021). A Practical Guide to Quantifying Carbon Emissions for Machine Learning Researchers and Practitioners (Doctoral dissertation, MILA; LISN).
Supports
Diaporamas et fiches de travaux pratiques.