Imaginez une équipe où, à chaque réunion, on tire au sort quelques membres qui restent silencieux : les autres doivent alors apprendre à se débrouiller sans dépendre d'un seul collègue indispensable. C'est exactement l'idée du Dropout, une technique de régularisation introduite en 2014 par Srivastava, Hinton et leurs collègues. Pendant l'entraînement, on désactive aléatoirement une fraction des neurones à chaque passage, forçant le réseau à ne pas trop se reposer sur quelques connexions.
Pourquoi ça marche
Un réseau de neurones profond a tendance au surapprentissage (overfitting) : il mémorise le bruit des données d'entraînement au lieu d'apprendre des motifs généraux. En coupant des neurones au hasard, le Dropout empêche la co-adaptation — c'est-à-dire que les neurones ne peuvent plus se reposer mutuellement sur des combinaisons fragiles. Le résultat ressemble à l'entraînement implicite d'un ensemble de réseaux plus petits, dont on moyenne les prédictions.
Comment c'est calculé
À chaque neurone est associée une probabilité $p$ d'être conservé. On tire un masque binaire $r_j \sim \text{Bernoulli}(p)$ et l'on calcule :
$$\tilde{y}_j = \frac{r_j}{p} \cdot y_j$$
La division par $p$ (inverted dropout) garde l'espérance des activations stable, si bien qu'aucun ajustement n'est nécessaire au moment de l'inférence.
Entraînement vs. Inférence
| Phase | Comportement |
|---|---|
| Entraînement | Neurones éteints aléatoirement (taux 0,2–0,5) |
| Inférence | Tous les neurones actifs, aucune coupure |
Aujourd'hui, le Dropout reste courant dans les couches denses et les Transformers, même si la batch normalization lui fait parfois concurrence dans les réseaux convolutifs.
Éteindre des neurones au hasard, c'est apprendre à un réseau l'humilité : ne jamais dépendre d'un seul.