Un benchmark est à l'intelligence artificielle ce qu'un examen standardisé est à des étudiants : une épreuve identique pour tous, conçue pour mesurer et comparer objectivement les performances de différents modèles sur une tâche bien définie. Sans benchmark, dire qu'un modèle est « meilleur » qu'un autre relève de l'opinion ; avec lui, on dispose d'un chiffre reproductible.
De quoi se compose un benchmark
Un benchmark combine trois ingrédients :
- un jeu de données d'évaluation (questions, images, problèmes) ;
- une tâche précise (classer, traduire, répondre, raisonner) ;
- une métrique qui transforme les réponses en score.
Selon la tâche, la métrique varie : exactitude (accuracy) pour la classification, score F1, BLEU pour la traduction, ou taux de réussite. L'exactitude se calcule simplement :
$$\text{Accuracy} = \frac{\text{prédictions correctes}}{\text{nombre total d'exemples}}$$
Des exemples célèbres
| Benchmark | Domaine évalué |
|---|---|
| ImageNet | Reconnaissance d'images |
| GLUE / SuperGLUE | Compréhension du langage |
| MMLU | Connaissances générales et raisonnement |
| HumanEval | Génération de code |
Forces et limites
Les benchmarks structurent le progrès : ils donnent un cap commun à la recherche. Mais ils ont un revers. La contamination des données (un modèle ayant déjà vu le test pendant son entraînement) gonfle artificiellement les scores. Et optimiser pour un benchmark peut éloigner d'un usage réel — c'est la loi de Goodhart : « quand une mesure devient un objectif, elle cesse d'être une bonne mesure ».
Un benchmark mesure ce qu'il sait mesurer, jamais l'intelligence dans son ensemble : c'est une boussole, pas une carte du territoire.