La théorie statistique de l’apprentissage cherche à expliquer et comprendre les phénomènes en jeu dans l’apprentissage à partir d’exemples. Ce cours permet d’introduire les fondements théoriques de l’apprentissage supervisé et d’appréhender les mesures de capacité des classes de fonctions et la dérivation de bornes sur l’erreur de généralisation.
Ces concepts sont instanciés sur des classifieurs tels que les machines à noyaux et les machines à vecteurs supports (SVM), illustrant aussi le principe de contrôle de la capacité par régularisation.
Les aspects propres aux problèmes multi-classes sont également traités.
En apprentissage, la sélection de variables et de modèle constituent des étapes à la fois cruciales pour diminuer la complexité du modèle et améliorer les capacités de généralisation. Ce cours présente les techniques standards (notamment les approches basées sur la notion de parcimonie) et montre comment dans ce cadre la théorie peut être instanciée pour obtenir un bénéfice pratique.
Pré-requis
- Connaissances de base en probabilités, statistique et optimisation.
- Connaissances de base en apprentissage.
Acquis d’apprentissage
- Fondements statistiques de l’apprentissage.
- Mesures de capacité des classes de fonctions.
- Techniques de classification binaires et multi-classes.
- Techniques de régularisation.
- Techniques de sélection de variables.
- Techniques de sélection de modèle.
Compétences visées
- Résoudre un problème de prédiction par apprentissage.
- Optimiser les hyper-paramètres d’un algorithme d’apprentissage.
- Sélectionner les variables pertinentes pour un problème.
- Appréhender les limites de l’apprentissage à partir d’exemples.
- Analyser la pertinence des techniques d’apprentissage.