Imaginez apprendre à un enfant à faire du vélo : il essaie, tombe, ajuste, et chaque petit progrès le rapproche de l'équilibre. L'apprentissage par renforcement (Reinforcement Learning, RL) repose exactement sur cette idée : un agent apprend à agir dans un environnement en maximisant les récompenses qu'il reçoit, par tâtonnements successifs. Contrairement à l'apprentissage supervisé, personne ne lui donne la « bonne réponse » : il la découvre par l'expérience.
La boucle agent-environnement
À chaque instant, l'agent observe un état ($s$), choisit une action ($a$) selon sa politique ($\pi$), puis l'environnement lui renvoie une récompense ($r$) et un nouvel état. L'objectif est de maximiser la récompense cumulée, pondérée par un facteur d'actualisation $\gamma \in [0,1]$ qui privilégie le présent sur le futur lointain :
$$G_t = \sum_{k=0}^{\infty} \gamma^{k} \, r_{t+k+1}$$
Le cœur du défi est l'équilibre exploration / exploitation : faut-il exploiter ce qu'on sait déjà ou explorer pour découvrir mieux ?
RL vs autres paradigmes
| Paradigme | Signal d'apprentissage | Exemple |
|---|---|---|
| Supervisé | Étiquettes fournies | Classer des images |
| Non supervisé | Aucune cible | Regrouper des données |
| Renforcement | Récompenses différées | Jouer aux échecs |
Applications
- Jeux (Go, échecs, jeux vidéo)
- Robotique et contrôle moteur
- Affinage des grands modèles de langage via le RLHF (renforcement à partir de retours humains)
Le RL n'apprend pas quoi répondre, mais comment se comporter pour atteindre un but.