Imaginez un lecteur capable de saisir d'un seul coup d'œil tous les mots d'une phrase, en pondérant instantanément lesquels comptent le plus pour comprendre le sens : c'est le Transformer. Introduite en 2017 dans l'article « Attention Is All You Need », cette architecture de réseau de neurones est devenue le socle des grands modèles de langage modernes (GPT, BERT, Gemini, Claude).
Le mécanisme d'attention
L'idée centrale est l'auto-attention (self-attention). Plutôt que de traiter une séquence mot après mot, le Transformer compare chaque élément à tous les autres et calcule des poids indiquant l'importance de chaque relation. Chaque mot est projeté en trois vecteurs : Query (Q), Key (K) et Value (V). Le cœur du calcul s'écrit :
$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$
Le facteur $\sqrt{d_k}$ stabilise les gradients. L'attention multi-têtes répète l'opération en parallèle pour capter plusieurs types de relations à la fois.
Pourquoi c'est révolutionnaire
| Aspect | RNN / LSTM | Transformer |
|---|---|---|
| Traitement | Séquentiel | Parallèle |
| Dépendances longues | Difficiles | Natives |
| Entraînement sur GPU | Lent | Très efficace |
En supprimant la récurrence, le Transformer exploite pleinement le calcul parallèle des GPU, ce qui a permis le passage à l'échelle vers des modèles à des centaines de milliards de paramètres. Comme l'attention ignore l'ordre, on ajoute un encodage positionnel pour réinjecter la notion de position.
Le Transformer n'a pas seulement amélioré le traitement du langage : il a redéfini ce que l'IA peut apprendre, du texte aux images jusqu'au code.