Le sous-apprentissage (underfitting) survient lorsqu'un modèle est trop simple pour capturer les régularités présentes dans les données. C'est l'élève qui n'a pas assez révisé : il échoue aussi bien sur l'examen blanc (données d'entraînement) que sur l'examen final (données de test). Le modèle reste biaisé, incapable de saisir la vraie relation entre entrées et sorties.
Le symptôme : un double échec
Contrairement au surapprentissage, le sous-apprentissage se reconnaît à une erreur élevée partout : sur l'entraînement comme sur la validation. Le modèle n'a même pas réussi à mémoriser ce qu'on lui a montré. On parle de biais élevé (high bias).
On peut décomposer l'erreur attendue d'un modèle ainsi :
$$ \mathbb{E}[(y - \hat{f}(x))^2] = \underbrace{\text{Biais}^2}{\text{sous-apprentissage}} + \underbrace{\text{Variance}} + \sigma^2 $$}
Le sous-apprentissage est dominé par le terme de biais.
Sous-apprentissage vs surapprentissage
| Critère | Sous-apprentissage | Surapprentissage |
|---|---|---|
| Erreur entraînement | Élevée | Très faible |
| Erreur test | Élevée | Élevée |
| Cause | Modèle trop simple | Modèle trop complexe |
| Dominant | Biais | Variance |
Comment y remédier
- Augmenter la complexité du modèle (plus de paramètres, de couches).
- Ajouter ou enrichir les caractéristiques (features) pertinentes.
- Réduire la régularisation trop agressive.
- Entraîner plus longtemps.
Un bon modèle marche sur une ligne de crête : trop simple, il ignore le signal ; trop complexe, il mémorise le bruit. Le sous-apprentissage, c'est rester du mauvais côté du fossé.