Imaginez un étudiant qui apprend par cœur les réponses des annales d'examen sans comprendre le cours : brillant sur les questions déjà vues, perdu dès qu'on en change une virgule. C'est exactement le surapprentissage : un modèle d'IA qui colle si parfaitement à ses données d'entraînement qu'il en mémorise le bruit et les détails accidentels, au détriment de sa capacité à généraliser sur des données nouvelles.
Reconnaître le surapprentissage
Le symptôme classique est un grand écart entre deux performances. Le modèle obtient une erreur d'entraînement très faible, mais une erreur de validation (sur des données jamais vues) qui se met à remonter.
| Indice | Sous-apprentissage | Bon ajustement | Surapprentissage |
|---|---|---|---|
| Erreur d'entraînement | élevée | faible | très faible |
| Erreur de validation | élevée | faible | élevée |
| Complexité du modèle | trop simple | adaptée | trop élevée |
On cherche donc à minimiser l'erreur attendue sur de nouvelles données, et non seulement sur l'échantillon connu :
$$\mathbb{E}_{(x,y)}\big[\,L!\left(f(x),\,y\right)\big]$$
Comment l'éviter
- Régularisation (pénalités L1/L2, dropout) pour brider la complexité.
- Validation croisée et arrêt précoce (early stopping).
- Augmentation des données pour diversifier les exemples.
- Préférer un modèle plus simple quand les performances sont comparables.
Le surapprentissage est l'autre extrême du sous-apprentissage : tout l'art consiste à arbitrer le compromis biais-variance.
Un bon modèle ne récite pas le passé : il anticipe l'inconnu.