Un modèle de langage ne « lit » pas des mots ni des lettres : il manipule des tokens, de petites unités de texte converties en nombres. La tokenisation est l'étape qui découpe une phrase en ces fragments, un peu comme on coupe un texte en briques LEGO réutilisables que la machine sait empiler.
Qu'est-ce qu'un token ?
Un token est l'unité atomique traitée par le modèle. Selon la méthode, il peut correspondre à un mot entier, à un fragment de mot (sous-mot), à un caractère ou à un signe de ponctuation. Les modèles modernes (GPT, Llama, Gemini) utilisent surtout la tokenisation en sous-mots, via des algorithmes comme le Byte Pair Encoding (BPE) ou WordPiece. L'intérêt : représenter un vocabulaire immense avec un nombre fini de tokens, tout en gérant les mots rares ou inventés.
Par exemple, le mot « tokenisation » peut se découper en token + isation. Chaque token reçoit ensuite un identifiant entier, puis un vecteur (embedding).
Pourquoi ça compte
- Coût et limite de contexte : la facturation des API et la fenêtre de contexte se mesurent en tokens, pas en mots.
- Langues : l'arabe ou le chinois consomment souvent plus de tokens par mot que l'anglais.
- Performance : un bon découpage réduit la longueur des séquences à traiter.
| Texte | Tokens approximatifs |
|---|---|
| 1 mot anglais courant | ~1,3 token |
| 1 mot français | ~1,5–2 tokens |
| 100 mots | ~130–150 tokens |
Une règle empirique répandue en anglais : 1 token ≈ 4 caractères, soit environ :
$$ N_{tokens} \approx \frac{N_{caracteres}}{4} $$
Comprendre la tokenisation, c'est comprendre la véritable langue maternelle d'un LLM : non pas des mots, mais des tokens.