Imaginez un escalier où, à chaque palier, vous pouvez soit gravir les marches, soit emprunter un toboggan qui vous fait passer directement au palier suivant. La connexion résiduelle (ou skip connection) est ce toboggan : elle ajoute l'entrée d'une couche directement à sa sortie, permettant à l'information de contourner les transformations intermédiaires. Introduite en 2015 avec l'architecture ResNet (He et al.), elle a rendu possible l'entraînement de réseaux de plusieurs centaines de couches.
Le principe mathématique
Au lieu de demander à un bloc de couches d'apprendre directement une fonction cible $H(x)$, on lui demande d'apprendre seulement le résidu $F(x) = H(x) - x$. La sortie devient :
$$ y = F(x) + x $$
Le terme $+x$ est l'identité : si la transformation optimale est de « ne rien faire », le réseau n'a qu'à pousser $F(x)$ vers zéro, ce qui est bien plus facile que d'apprendre l'identité à partir de couches non linéaires.
Pourquoi c'est crucial
Sans raccourci, le gradient se dilue en se propageant à travers de nombreuses couches : c'est le problème de la disparition du gradient. La connexion résiduelle crée une « autoroute » par laquelle le gradient circule sans atténuation lors de la rétropropagation.
| Sans connexion résiduelle | Avec connexion résiduelle |
|---|---|
| Gradient qui s'évanouit en profondeur | Flux de gradient préservé |
| Dégradation de la précision au-delà de ~20 couches | Réseaux de 100+ couches entraînables |
| Identité difficile à apprendre | Identité « gratuite » par défaut |
Aujourd'hui, ce mécanisme est partout : il est au cœur des Transformers (chaque sous-couche d'attention et de feed-forward est entourée d'une connexion résiduelle), donc des modèles comme GPT ou les LLM modernes.
Apprendre la différence plutôt que le tout : voilà l'idée simple qui a débloqué la profondeur.