Imaginez un étudiant qui mémorise par cœur les corrigés des examens passés : brillant sur ces sujets précis, perdu dès qu'une question nouvelle apparaît. La régularisation regroupe l'ensemble des techniques qui empêchent un modèle de machine learning de tomber dans ce piège. Elle bride volontairement sa capacité à coller aux données d'entraînement pour qu'il capture la tendance générale plutôt que le bruit, et donc qu'il généralise mieux sur des données jamais vues.
Le problème : le surapprentissage
Un modèle trop flexible finit par mémoriser chaque détail du jeu d'entraînement, y compris ses erreurs aléatoires. C'est le surapprentissage (overfitting) : erreur quasi nulle à l'entraînement, mais mauvaise sur de nouvelles données. La régularisation introduit un biais contrôlé pour réduire la variance du modèle — le cœur du compromis biais-variance.
Les pénalités L1 et L2
Les méthodes classiques ajoutent un terme de pénalité à la fonction de coût, qui décourage les poids trop grands :
$$ J(\theta) = \text{Perte}(\theta) + \lambda \sum_{i} |\theta_i|^p $$
Le coefficient $\lambda$ règle la force du frein. Avec $p=2$ on parle de L2 (ridge), qui rétrécit les poids ; avec $p=1$ de L1 (lasso), qui en annule certains et fait donc de la sélection de variables.
| Méthode | Effet sur les poids | Usage typique |
|---|---|---|
| L1 (Lasso) | Met des poids à zéro | Sélection de variables |
| L2 (Ridge) | Réduit tous les poids | Lissage général |
| Dropout | Désactive des neurones au hasard | Réseaux profonds |
| Early stopping | Arrête l'entraînement à temps | Toute architecture |
Au-delà des pénalités
En apprentissage profond, on utilise aussi le dropout (neurones désactivés aléatoirement), l'augmentation de données et l'arrêt précoce.
Bien régulariser, c'est apprendre à un modèle à oublier juste assez pour mieux comprendre.