Imaginez un neurone artificiel comme une vanne intelligente : il reçoit un flux de signaux, en calcule la somme, puis décide combien laisser passer. C'est exactement le rôle d'une fonction d'activation — la petite transformation non linéaire appliquée à la sortie de chaque neurone.
Pourquoi la non-linéarité change tout
Un réseau de neurones empile des couches de multiplications et d'additions. Or, sans fonction d'activation, l'empilement de couches linéaires reste… linéaire. Peu importe la profondeur, le réseau ne pourrait modéliser qu'une simple droite.
La fonction d'activation injecte une courbure. C'est elle qui permet au réseau d'approximer des frontières complexes — distinguer un chat d'un chien, traduire une phrase, générer une image.
$$ a = f\left(\sum_i w_i x_i + b\right) $$
où $w_i$ sont les poids, $b$ le biais, et $f$ la fonction d'activation.
Les grandes familles
| Fonction | Formule | Usage typique |
|---|---|---|
| Sigmoïde | $\sigma(x) = \frac{1}{1+e^{-x}}$ | Sortie probabiliste (0–1) |
| Tanh | $\tanh(x)$ | Sorties centrées (−1 à 1) |
| ReLU | $\max(0, x)$ | Couches cachées (standard) |
| Softmax | $\frac{e^{x_i}}{\sum_j e^{x_j}}$ | Classification multi-classe |
Le règne de ReLU
La ReLU (Rectified Linear Unit) domine aujourd'hui les couches cachées : simple à calculer, elle atténue le problème du gradient qui s'évanouit qui paralysait les anciennes sigmoïdes dans les réseaux profonds. Ses variantes (Leaky ReLU, GELU, SiLU) corrigent son défaut des « neurones morts ».
Sans fonction d'activation, un réseau profond ne serait qu'une régression linéaire déguisée. C'est cette étincelle non linéaire qui rend l'apprentissage profond profond.