Imaginez la fenêtre de contexte comme le « bureau de travail » d'un modèle de langage : c'est l'ensemble des informations qu'il peut lire et garder en tête simultanément pour produire sa réponse. Tout ce qui dépasse ce bureau tombe par terre — le modèle ne le « voit » plus.
Ce qu'elle contient vraiment
La fenêtre de contexte se mesure en tokens (fragments de mots : un mot ≈ 1,3 token en moyenne). Elle englobe l'intégralité de l'échange : le system prompt, l'historique de la conversation, les documents collés, votre question actuelle et la réponse en cours de génération.
$$ n_{\text{tokens}} = n_{\text{prompt}} + n_{\text{historique}} + n_{\text{réponse}} \le L_{\max} $$
Quand on atteint la limite $L_{\max}$, soit les messages les plus anciens sont tronqués, soit le modèle refuse l'entrée.
Ordres de grandeur
| Génération de modèles | Taille typique | Équivalent approximatif |
|---|---|---|
| Premiers GPT | 2 000 – 4 000 tokens | quelques pages |
| Modèles récents | 128 000 tokens | un long rapport |
| Modèles « longue portée » | 1 000 000 tokens | plusieurs livres |
Pourquoi ce n'est pas infini
Le coût de l'attention dans les Transformers croît de façon quadratique avec la longueur de la séquence :
$$ \text{coût} \propto n^2 $$
Doubler le contexte quadruple donc le calcul et la mémoire nécessaires. D'où un compromis permanent entre portée, vitesse et coût. Par ailleurs, un contexte très long ne garantit pas une bonne exploitation : les modèles peuvent « perdre » l'information située au milieu d'un texte très long.
Une grande fenêtre de contexte, c'est plus de mémoire de travail — mais bien la remplir reste un art autant qu'une contrainte technique.