Imaginez un modèle de langage comme un joueur qui parie sur le prochain mot d'une phrase. La perplexité mesure son degré d'« hésitation » : plus le modèle est confiant et juste, plus la perplexité est basse. C'est l'une des métriques historiques les plus utilisées pour évaluer les modèles de langage.
L'intuition
La perplexité quantifie le « facteur de surprise » d'un modèle face à un texte. Une perplexité de 10 signifie que, à chaque mot, le modèle hésite en moyenne comme s'il devait choisir entre 10 possibilités équiprobables. Plus ce nombre est petit, mieux le modèle prédit le langage réel.
Elle dérive directement de l'entropie croisée : c'est son exponentielle.
La formule
Pour une séquence de mots $w_1, \dots, w_N$, la perplexité s'écrit :
$$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_1, \dots, w_{i-1})\right)$$
où $p(w_i \mid \dots)$ est la probabilité attribuée par le modèle au mot $w_i$ compte tenu du contexte précédent.
Atouts et limites
| Atout | Limite |
|---|---|
| Calcul automatique, sans annotation humaine | Dépend du tokenizer : comparaisons biaisées entre modèles |
| Bonne mesure de la modélisation pure du langage | Ne mesure ni la véracité ni l'utilité des réponses |
| Rapide et reproductible | Mauvaise corrélation avec la qualité perçue sur les tâches complexes |
- Basse perplexité = modèle plus sûr de ses prédictions.
- Elle ne se compare valablement qu'à vocabulaire et corpus identiques.
La perplexité dit si un modèle parle bien la langue — pas s'il dit la vérité.