Imaginez un archer : certaines flèches manquent toutes la cible du même côté (erreur systématique), d'autres se dispersent dans tous les sens (instabilité). Le compromis biais-variance décrit cette tension fondamentale : un modèle d'apprentissage automatique ne peut pas, simultanément, être trop simple et trop sensible aux données. C'est l'un des arbitrages centraux de l'évaluation des modèles.
Deux sources d'erreur opposées
- Biais élevé : le modèle est trop rigide, il rate la structure réelle des données. C'est le sous-apprentissage (underfitting). Exemple : une droite pour décrire une relation courbe.
- Variance élevée : le modèle colle trop aux données d'entraînement, y compris au bruit. C'est le sur-apprentissage (overfitting). Il excelle sur l'entraînement mais échoue sur des données nouvelles.
| Symptôme | Biais élevé | Variance élevée |
|---|---|---|
| Erreur d'entraînement | élevée | faible |
| Erreur de test | élevée | élevée |
| Complexité du modèle | trop faible | trop forte |
| Remède | enrichir le modèle | régulariser, plus de données |
La décomposition de l'erreur
Pour une perte quadratique, l'erreur attendue se décompose ainsi :
$$\mathbb{E}\left[(y - \hat{f}(x))^2\right] = \underbrace{\text{Biais}^2}{} + \underbrace{\text{Variance}}{} + \underbrace{\sigma^2}_{\text{bruit irréductible}}$$
Le terme $\sigma^2$ est incompressible : même le modèle parfait ne peut l'éliminer.
Trouver l'équilibre
Augmenter la complexité réduit le biais mais gonfle la variance. Les outils pratiques sont la validation croisée, la régularisation (L1/L2) et l'ajout de données.
Le bon modèle n'est ni le plus simple ni le plus complexe : c'est celui qui généralise le mieux à l'inconnu.