L’UE traite de l’apprentissage automatique, allant de la théorie statistique de l’apprentissage et des fondements du deep learning à la conception et la mise en œuvre de réseaux de neurones pour répondre à des problèmes concrets en IA.
La première partie de ce cours dédiée au Deep Learning fournit un panorama de l’apprentissage par réseaux de neurones, couvrant les briques neuronales élémentaires (couche totalement connectée, convolutive, récurrente, modèle d’attention, normalisation, etc.), la conception d’une architecture répondant au problème à résoudre, le choix d’une fonction de coût appropriée selon la tâche (classification, détection, segmentation, apprentissage auto-supervisé, etc.) et les algorithmes de minimisation de cette fonction de coût (rétropropagation du gradient, descente de gradient, moment, dropout, etc.). Le cours sera illustré par des exemples d’architectures, des plus simples aux plus récentes. Des TD et un projet permettront d’appliquer ces connaissances à des problèmes concrets tels que la segmentation sémantique d’images grâce à une bibliothèque logicielle dédiée.
La théorie statistique de l’apprentissage cherche à expliquer et comprendre les phénomènes en jeu dans l’apprentissage à partir d’exemples. La seconde partie de ce cours permet d’introduire les fondements théoriques de l’apprentissage supervisé et d’appréhender les mesures de capacité des classes de fonctions et la dérivation de bornes sur l’erreur de généralisation. Ces concepts sont instanciés sur des classifieurs tels que les machines à noyaux et les machines à vecteurs supports (SVM), illustrant aussi le principe de contrôle de la capacité par régularisation. Les aspects propres aux problèmes multi-classes sont également traités. En apprentissage, la sélection de variables et de modèle constituent des étapes à la fois cruciales pour diminuer la complexité du modèle et améliorer les capacités de généralisation. L’extraction de caractéristiques et leur visualisation sont deux étapes importantes dans l’utilisation et la compréhension des données qui seront également abordées. Ce cours présente aussi les techniques standards (notamment les approches basées sur la notion de parcimonie) et montre comment dans ce cadre la théorie peut être instanciée pour obtenir un bénéfice pratique.
Prérequis
- Maîtrise du langage Python.
- Notions de base de mathématiques (probabilités et statistiques, algèbre linéaire, calcul de dérivées).
Acquis d’apprentissage
- Fondements du deep learning.
- Fondements statistiques de l’apprentissage.
- Techniques de régularisation.
- Techniques de sélection de variables.
- Techniques de sélection de modèle.
Compétences visées
- Définir et paramétrer un modèle d’apprentissage automatique pour une tâche donnée, modéliser et manipuler un système stochastique.
- Préparer les données d’apprentissage, savoir en réduire la dimensionnalité, analyser la pertinence des caractéristiques, analyser les résultats d’apprentissage, évaluer la pertinence des différents modèles, combiner les modèles d’apprentissage.