Imaginez descendre une montagne dans le brouillard pour atteindre la vallée la plus basse. Le taux d'apprentissage (ou learning rate, souvent noté $\eta$) est la longueur de chaque pas que vous faites. Trop grand, vous sautez par-dessus la vallée ; trop petit, vous mettez une éternité à descendre. C'est l'hyperparamètre le plus déterminant de l'entraînement d'un réseau de neurones.
Le mécanisme
À chaque itération, la descente de gradient ajuste les poids $w$ du modèle dans la direction qui réduit l'erreur. Le taux d'apprentissage contrôle l'ampleur de cette correction :
$$w_{t+1} = w_t - \eta \, \nabla L(w_t)$$
où $\nabla L$ est le gradient de la fonction de perte. Le gradient indique la direction, $\eta$ décide de la distance parcourue.
Trouver le bon équilibre
| Taux d'apprentissage | Conséquence |
|---|---|
| Trop élevé | Divergence, oscillations, perte qui explose |
| Trop faible | Convergence très lente, risque de blocage |
| Bien réglé | Convergence rapide et stable |
Des valeurs typiques se situent entre $10^{-1}$ et $10^{-5}$ selon l'architecture et l'optimiseur.
Le rendre dynamique
Plutôt que de figer $\eta$, on le fait souvent varier au cours de l'entraînement :
- Décroissance (decay) : grands pas au début, petits pas à la fin pour affiner.
- Warmup : démarrage progressif pour stabiliser les premières itérations.
- Optimiseurs adaptatifs (Adam, RMSprop) : ajustent un taux effectif par paramètre.
Bien choisir le taux d'apprentissage, c'est trouver le rythme juste entre l'audace qui fait avancer et la prudence qui fait converger.