Imaginez un élève à qui l'on demande non pas seulement la réponse à un problème, mais qu'il « montre son raisonnement ». La Chaîne de pensée (Chain-of-Thought, CoT) repose exactement sur cette idée : au lieu de générer directement une réponse, le modèle de langage est invité à dérouler les étapes intermédiaires de son raisonnement avant de conclure. Cette technique de prompting a montré qu'elle améliore nettement les performances sur les tâches qui demandent de la logique, de l'arithmétique ou du raisonnement en plusieurs temps.
Pourquoi ça fonctionne
Un grand modèle de langage prédit le mot suivant en fonction du contexte. En forçant le modèle à écrire ses étapes, on enrichit ce contexte de calculs partiels qui guident la prédiction finale. C'est une forme de calcul supplémentaire au moment de l'inférence : plus de jetons générés signifie plus de « temps de réflexion ».
Formellement, au lieu d'estimer directement $P(\text{réponse} \mid \text{question})$, on factorise :
$$P(r \mid q) = \sum_{c} P(r \mid c, q)\, P(c \mid q)$$
où $c$ désigne la chaîne de raisonnement intermédiaire.
Comment l'activer
- Few-shot CoT : on donne quelques exemples résolus étape par étape.
- Zero-shot CoT : il suffit souvent d'ajouter une phrase déclencheuse comme « Raisonnons étape par étape ».
| Approche | Avantage | Limite |
|---|---|---|
| Réponse directe | Rapide, peu de jetons | Faible sur les tâches complexes |
| Chaîne de pensée | Meilleure précision logique | Plus lente, plus coûteuse |
Limites
La chaîne affichée n'est pas toujours une fidèle représentation du calcul interne du modèle : elle peut paraître plausible tout en étant erronée. Elle améliore les résultats sans garantir la véracité.
La Chaîne de pensée transforme une boîte noire en un raisonnement lisible — mais lisible ne veut pas toujours dire exact.