L'optimisation directe des préférences (DPO) est une méthode d'alignement qui apprend à un modèle de langage à préférer les « bonnes » réponses aux « mauvaises » — directement, sans passer par l'usine à gaz d'un apprentissage par renforcement. Là où la méthode classique RLHF construit d'abord un modèle de récompense puis l'optimise avec un algorithme comme PPO, la DPO réécrit le problème pour entraîner le modèle de langage en une seule étape, à partir de paires de réponses comparées par des humains.
L'intuition centrale
L'idée fondatrice est mathématique : le modèle de récompense optimal du RLHF possède une forme analytique exprimable directement à partir de la politique (le modèle) et d'une politique de référence. On peut donc se passer du modèle de récompense intermédiaire et optimiser une simple perte de classification sur des préférences.
Pour une paire (réponse préférée $y_w$, réponse rejetée $y_l$) face à une question $x$, l'objectif s'écrit :
$$\mathcal{L}{\text{DPO}} = -\mathbb{E}\left[\log \sigma\left(\beta \log \frac{\pi\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right]$$
où $\pi_{\text{ref}}$ est le modèle de référence (gelé), $\beta$ contrôle l'écart toléré, et $\sigma$ est la sigmoïde.
DPO face au RLHF classique
| Critère | RLHF (PPO) | DPO |
|---|---|---|
| Modèle de récompense | Oui, séparé | Non |
| Étapes d'entraînement | Plusieurs | Une seule |
| Stabilité | Délicate à régler | Plus robuste |
| Coût de calcul | Élevé | Réduit |
Pourquoi c'est important
- Simplicité : pas de boucle d'apprentissage par renforcement à stabiliser.
- Données : exploite directement des jeux de préférences (réponse A vs B).
- Adoption : largement utilisée pour affiner les modèles open-source.
La DPO transforme l'alignement, autrefois réservé aux laboratoires bien dotés, en une étape de fine-tuning accessible.