Imaginez une recette de cuisine où, à chaque fois que vous doublez les ingrédients, le four et le temps de cuisson, le gâteau devient mesurablement meilleur — et de façon prévisible. Les lois d'échelle (scaling laws) décrivent exactement cela pour l'IA : la performance d'un modèle s'améliore de manière régulière et prédictible lorsqu'on augmente trois leviers — la taille du modèle (nombre de paramètres), la quantité de données d'entraînement et la puissance de calcul investie.
Une relation en loi de puissance
Le constat central, popularisé par les travaux d'OpenAI (2020) puis affiné par DeepMind, est que l'erreur du modèle (la perte, ou loss) décroît selon une loi de puissance vis-à-vis de chaque levier. Schématiquement :
$$L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha}$$
où $L$ est la perte, $N$ le nombre de paramètres, et $\alpha$ un exposant positif. La conséquence pratique est frappante : sur un graphique en échelle logarithmique, la performance suit une droite quasi parfaite sur plusieurs ordres de grandeur.
L'équilibre Chinchilla
Pendant longtemps, on a surtout fait grossir les modèles. En 2022, le modèle Chinchilla de DeepMind a montré que beaucoup de modèles étaient sous-entraînés : pour un budget de calcul donné, il faut équilibrer paramètres et données.
| Levier | Effet de l'augmentation | Limite |
|---|---|---|
| Paramètres ($N$) | Plus de capacité | Coût mémoire/calcul |
| Données ($D$) | Meilleure généralisation | Données de qualité finies |
| Calcul ($C$) | Permet $N$ et $D$ plus grands | Coût énergétique et financier |
Pourquoi c'est fondamental
Les lois d'échelle ont transformé l'IA en une discipline d'ingénierie prévisible : on peut estimer la performance d'un futur modèle avant de l'entraîner, et donc justifier des investissements colossaux.
Plus n'est pas toujours mieux — mais grâce aux lois d'échelle, on sait combien de plus, et où l'investir.