Quand un modèle de langage génère un mot, il calcule une probabilité pour chaque token possible de son vocabulaire. Le laisser toujours choisir le plus probable rend le texte plat et répétitif ; le laisser piocher au hasard le rend incohérent. Le top-k et le top-p sont deux filtres d'échantillonnage qui tracent la frontière entre ce qui est permis et ce qui est écarté à chaque étape.
Deux façons de couper la liste
Le top-k garde uniquement les k tokens les plus probables, puis renormalise et tire au sort parmi eux. Simple, mais rigide : si un seul mot domine clairement, on garde quand même k candidats ; si la distribution est plate, on en exclut peut-être de bons.
Le top-p (ou nucleus sampling) est adaptatif : il garde le plus petit ensemble de tokens dont la probabilité cumulée atteint p. On retient l'ensemble minimal $V^{(p)}$ tel que :
$$\sum_{x \in V^{(p)}} P(x) \geq p$$
La taille du noyau varie donc selon le contexte : large quand le modèle hésite, étroit quand il est sûr de lui.
Comparaison
| Critère | Top-k | Top-p |
|---|---|---|
| Seuil | Nombre fixe (k) | Masse de probabilité (p) |
| Taille du vivier | Constante | Variable, adaptative |
| Valeurs typiques | k = 40 | p = 0,9 |
| Faiblesse | Ignore la forme de la distribution | Sensible aux longues traînes |
En pratique
Ces filtres se combinent souvent avec la température, qui aplatit ou accentue les probabilités avant l'échantillonnage. On les applique fréquemment ensemble : d'abord top-k, puis top-p sur le sous-ensemble restant. Une valeur basse favorise la fiabilité (réponses factuelles), une valeur haute la créativité (écriture, brainstorming).
Top-k coupe par le nombre, top-p coupe par la confiance : ce sont les deux molettes qui dosent l'audace d'un modèle.