Imaginez un conteur qui écrit son histoire mot après mot, sans jamais connaître la fin à l'avance : chaque mot qu'il pose dépend strictement de tous ceux qui précèdent. C'est exactement le principe d'un modèle autorégressif. Il génère une donnée (texte, son, image) élément par élément, en réinjectant à chaque étape ce qu'il vient de produire pour prédire l'élément suivant.
Le principe : prédire le suivant
Un modèle autorégressif décompose la probabilité d'une séquence complète en un produit de probabilités conditionnelles. Pour une séquence de tokens $x_1, x_2, \dots, x_T$ :
$$P(x_1, \dots, x_T) = \prod_{t=1}^{T} P(x_t \mid x_1, \dots, x_{t-1})$$
Autrement dit, le modèle apprend uniquement à répondre à la question : « étant donné tout ce qui précède, quel est l'élément le plus probable maintenant ? ». La génération est donc séquentielle : on produit un token, on l'ajoute au contexte, et on recommence.
Pourquoi c'est central pour les LLM
C'est exactement ainsi que fonctionnent les grands modèles de langage comme la famille GPT. Ils ne « voient » jamais la phrase entière d'un coup lors de la génération : ils la construisent token par token. Cette mécanique simple, entraînée sur d'immenses corpus, fait émerger des capacités de raisonnement, de traduction et de rédaction.
| Aspect | Modèle autorégressif | Modèle de diffusion |
|---|---|---|
| Génération | Séquentielle (un élément à la fois) | Parallèle (débruitage global) |
| Domaine phare | Texte (GPT, LLaMA) | Image (Stable Diffusion) |
| Faiblesse | Lent, erreurs qui s'accumulent | Coûteux en étapes |
Le revers : la génération est lente (un passage par token) et une erreur précoce peut se propager dans toute la suite.
Générer, c'est prédire le futur immédiat à partir du passé — un token à la fois.