Imaginez deux correcteurs automatiques qui notent une copie sans la lire vraiment : ils se contentent de compter combien de mots et d'expressions du texte produit par l'IA se retrouvent dans une réponse « modèle » écrite par un humain. BLEU (Bilingual Evaluation Understudy) et ROUGE (Recall-Oriented Understudy for Gisting Evaluation) sont ces deux mètres-rubans, devenus les étalons historiques pour évaluer respectivement la traduction automatique et le résumé de texte.
Le principe : compter les n-grammes
Les deux métriques reposent sur les n-grammes (séquences de 1, 2, 3… mots consécutifs) partagés entre le texte candidat et une ou plusieurs références. La différence tient à l'angle de mesure :
- BLEU mesure la précision : parmi les mots que l'IA a produits, combien sont « justes » ? Il ajoute une pénalité de brièveté (brevity penalty) pour décourager les phrases trop courtes.
- ROUGE mesure surtout le rappel : parmi les mots de la référence, combien l'IA a-t-elle réussi à reproduire ? D'où son orientation « résumé », où l'on craint surtout d'oublier l'essentiel.
$$\text{BLEU} = BP \cdot \exp!\left(\sum_{n=1}^{N} w_n \log p_n\right)$$
où $p_n$ est la précision des n-grammes d'ordre $n$ et $BP$ la pénalité de brièveté.
BLEU vs ROUGE
| Critère | BLEU | ROUGE |
|---|---|---|
| Tâche typique | Traduction | Résumé |
| Axe principal | Précision | Rappel |
| Variantes | — | ROUGE-N, ROUGE-L (sous-séquence la plus longue) |
Limites
Ces métriques ne « comprennent » pas le sens : un synonyme parfait est pénalisé, une phrase grammaticalement absurde peut bien scorer. Elles restent néanmoins rapides, reproductibles et sans coût humain.
Rapides et objectifs, BLEU et ROUGE mesurent le chevauchement de surface — jamais la véritable compréhension.