Imaginez une gigantesque table de mixage avec des millions, voire des milliards de boutons. Chaque bouton règle finement la façon dont l'information circule dans le modèle. Ces boutons, ce sont les paramètres : les valeurs numériques internes qu'un réseau de neurones ajuste pendant son apprentissage pour transformer une entrée (un texte, une image) en une sortie pertinente.
Poids et biais : la mémoire du modèle
Un paramètre est concrètement un nombre. On distingue deux familles :
- les poids (weights), qui pondèrent l'importance de chaque connexion entre neurones ;
- les biais (biases), qui décalent le résultat pour ajuster le seuil de déclenchement.
Pour un neurone simple, la sortie se calcule ainsi :
$$y = \sigma\left(\sum_{i=1}^{n} w_i x_i + b\right)$$
où les $w_i$ sont les poids, $b$ le biais, et $\sigma$ une fonction d'activation. L'apprentissage consiste précisément à trouver les bonnes valeurs de ces $w$ et $b$, par descente de gradient.
Combien de paramètres ?
Le nombre de paramètres est devenu une mesure de la « taille » d'un modèle.
| Modèle | Ordre de grandeur |
|---|---|
| Petit modèle classique | Milliers à millions |
| GPT-2 | ~1,5 milliard |
| Grands modèles de langage récents | Dizaines à centaines de milliards |
Attention : plus de paramètres ne signifie pas toujours « meilleur ». Un modèle trop gros peut surapprendre (mémoriser au lieu de généraliser) et coûte énormément en calcul et en énergie.
À ne pas confondre
Les paramètres (appris par la machine) diffèrent des hyperparamètres (fixés par l'humain : taux d'apprentissage, nombre de couches). Les premiers émergent de l'entraînement ; les seconds le pilotent.
Les paramètres sont la connaissance figée d'un modèle : tout ce qu'il a « appris » tient dans ces quelques milliards de nombres.