La température est le bouton de réglage qui décide à quel point un modèle de langage ose prendre des risques. Imaginez un curseur : tout à gauche, le modèle joue la sécurité et répète toujours le mot le plus probable ; tout à droite, il devient audacieux, surprenant, parfois incohérent. C'est un paramètre d'échantillonnage appliqué au moment de l'inférence, sans rien changer aux poids du modèle.
Comment ça marche
Un modèle ne prédit pas un mot unique, mais une distribution de probabilités sur tout son vocabulaire. La température $T$ divise les scores bruts (logits) avant le calcul du softmax :
$$P(x_i) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$
- $T \to 0$ : la distribution se concentre sur le mot le plus probable (quasi déterministe).
- $T = 1$ : la distribution reste celle d'origine.
- $T > 1$ : la distribution s'aplatit, les mots rares gagnent en chance d'être choisis.
Choisir la bonne valeur
| Température | Comportement | Usage typique |
|---|---|---|
| 0 – 0,3 | Précis, répétable | Code, extraction, calcul, faits |
| 0,5 – 0,8 | Équilibré | Rédaction, dialogue |
| 1,0 – 1,5 | Créatif, varié | Brainstorming, poésie, fiction |
L'arbitrage clé
La température incarne le compromis entre fiabilité et diversité. Trop basse, les réponses deviennent monotones et figées ; trop haute, elles dérivent vers l'incohérence et l'hallucination. Elle se combine souvent avec d'autres réglages comme le top-p (échantillonnage par noyau) pour mieux contrôler la fenêtre des choix possibles.
Régler la température, ce n'est pas rendre le modèle « plus intelligent », c'est choisir entre la prudence et l'imagination.