Imaginez un apprenti cuisinier surdoué mais sans goût : il connaît des millions de recettes, mais ignore lesquelles plairont vraiment aux clients. Le RLHF (apprentissage par renforcement et rétroaction humaine) est le maître qui goûte ses plats et lui dit lesquels servir. C'est la méthode qui a transformé de simples prédicteurs de texte comme GPT en assistants utiles, honnêtes et inoffensifs.
Le problème de l'alignement
Un grand modèle de langage pré-entraîné apprend à prédire le mot suivant, pas à être utile. Il peut produire des réponses techniquement correctes mais inutiles, dangereuses ou impolies. Le RLHF comble ce fossé entre « savoir parler » et « bien répondre » en injectant le jugement humain dans l'entraînement.
Les trois étapes
| Étape | Objectif | Donnée utilisée |
|---|---|---|
| 1. SFT | Affinage supervisé sur des réponses modèles | Démonstrations humaines |
| 2. Modèle de récompense | Apprendre à noter une réponse | Comparaisons (A meilleure que B) |
| 3. Optimisation par RL | Maximiser la récompense | Algorithme PPO |
À l'étape 2, des annotateurs classent plusieurs réponses. Un modèle de récompense $r_\theta$ apprend ces préférences, souvent via une perte de type Bradley-Terry :
$$\mathcal{L}(\theta) = -\log \sigma\big(r_\theta(x, y_w) - r_\theta(x, y_l)\big)$$
où $y_w$ est la réponse préférée et $y_l$ la rejetée. À l'étape 3, le modèle est optimisé pour maximiser cette récompense, tout en restant proche de sa version initiale grâce à une pénalité de divergence KL.
Portée et limites
Le RLHF est derrière ChatGPT, Claude et Gemini. Mais il dépend de la qualité des annotateurs, peut induire de la flagornerie (sycophancy) et coûte cher. Des variantes comme le DPO (Direct Preference Optimization) cherchent à s'en passer.
Le RLHF ne rend pas l'IA plus intelligente : il la rend plus alignée sur ce que nous voulons vraiment.