Imaginez un lecteur infatigable qui aurait parcouru une fraction colossale du texte écrit par l'humanité, et qui aurait appris, mot après mot, à deviner la suite la plus plausible d'une phrase. C'est l'essence d'un grand modèle de langage (en anglais Large Language Model, ou LLM) : un réseau de neurones de très grande taille, entraîné à prédire le prochain élément d'une séquence de texte.
Le principe : prédire le mot suivant
Un LLM repose sur une idée étonnamment simple. À partir d'une suite de mots (découpés en tokens), il estime la probabilité du token suivant :
$$P(w_t \mid w_1, w_2, \dots, w_{t-1})$$
En répétant cette prédiction, le modèle génère un texte cohérent. La quasi-totalité des LLM modernes s'appuie sur l'architecture Transformer, dont le cœur est le mécanisme d'attention : chaque mot « regarde » les autres pour pondérer ce qui compte dans le contexte.
Pourquoi « grand » ?
Le qualificatif vient de l'échelle. Trois dimensions explosent simultanément :
| Dimension | Rôle |
|---|---|
| Paramètres | Les poids appris du réseau (jusqu'aux centaines de milliards) |
| Données | Le corpus d'entraînement (des milliers de milliards de tokens) |
| Calcul | La puissance GPU consommée |
Au-delà d'une certaine taille apparaissent des capacités émergentes : traduction, résumé, raisonnement, génération de code — sans avoir été explicitement programmées pour chaque tâche.
Forces et limites
- Forces : polyvalence, fluidité, adaptation par simple prompt.
- Limites : les hallucinations (affirmations fausses mais plausibles), les biais hérités des données, et un coût énergétique élevé.
Un LLM ne « comprend » pas le monde : il modélise les régularités statistiques du langage — un miroir puissant, mais imparfait, de ce que nous avons écrit.