Imaginez un médecin généraliste déjà formé pendant des années : pour devenir cardiologue, il n'a pas besoin de réapprendre la biologie de zéro, seulement de se spécialiser. L'affinage (fine-tuning) applique cette idée à l'IA : on part d'un modèle pré-entraîné sur d'immenses corpus généralistes, puis on poursuit son entraînement sur un jeu de données plus petit et ciblé pour l'adapter à une tâche, un domaine ou un style précis.
Pourquoi affiner plutôt que tout réapprendre
Entraîner un grand modèle depuis zéro coûte des millions de dollars et exige des montagnes de données. L'affinage exploite l'apprentissage par transfert : les connaissances générales (grammaire, raisonnement, structure du monde) sont déjà acquises. On ne fait qu'ajuster les poids du réseau avec un signal supervisé, en minimisant une fonction de perte sur les nouveaux exemples :
$$\theta^{*} = \arg\min_{\theta}\ \mathbb{E}{(x,y)\sim \mathcal{D}(x),\, y)\big]$$}}}\big[\mathcal{L}(f_{\theta
On part des poids pré-entraînés $\theta_0$ et on les déplace légèrement vers la tâche cible — d'où l'usage d'un taux d'apprentissage faible pour ne pas « effacer » le savoir initial (oubli catastrophique).
Affinage complet ou efficient
| Approche | Paramètres modifiés | Coût | Usage typique |
|---|---|---|---|
| Affinage complet | Tous les poids | Élevé | Adaptation profonde, gros budget |
| LoRA / PEFT | Quelques % | Faible | Spécialisation rapide, plusieurs variantes |
| Affinage par instructions | Tous ou partiels | Moyen | Rendre un modèle « obéissant » |
Les méthodes dites PEFT (Parameter-Efficient Fine-Tuning), comme LoRA, n'entraînent que de petites matrices ajoutées, rendant l'opération accessible sur du matériel modeste.
Affiner, c'est ne pas réinventer l'intelligence — c'est l'orienter vers votre besoin.