L'apprentissage par transfert (transfer learning) consiste à réutiliser les connaissances acquises par un modèle sur une première tâche pour en résoudre une seconde, apparentée. C'est l'équivalent d'un pianiste qui apprend l'orgue bien plus vite qu'un débutant : les bases musicales se transfèrent.
Pourquoi ça marche
Un réseau de neurones profond apprend des représentations hiérarchiques. Les premières couches captent des motifs génériques (contours, textures, formes), tandis que les dernières se spécialisent sur la tâche cible. Comme les motifs de bas niveau sont communs à de nombreux problèmes, on peut conserver ces couches et ne réentraîner que la partie spécialisée. On parle alors de modèle pré-entraîné (sur un grand jeu de données comme ImageNet) que l'on adapte ensuite.
Deux stratégies courantes
| Stratégie | Couches gelées | Données nécessaires | Coût |
|---|---|---|---|
| Extraction de caractéristiques | Toutes sauf la tête | Peu | Faible |
| Fine-tuning | Aucune (ou partielle) | Modéré | Plus élevé |
Dans l'extraction, on gèle le tronc du réseau ($\theta_{\text{base}}$ figés) et on n'entraîne que la nouvelle tête de classification. Dans le fine-tuning, on réajuste finement l'ensemble des poids avec un faible taux d'apprentissage :
$$\theta^* = \arg\min_{\theta} \; \mathcal{L}{\text{cible}}(\theta), \quad \theta$$}} = \theta_{\text{source}
Pourquoi c'est crucial
- Réduit drastiquement le besoin en données étiquetées.
- Accélère l'entraînement et baisse les coûts de calcul.
- Rend l'IA accessible aux petites équipes sans data centers.
C'est le principe qui sous-tend la plupart des grands modèles actuels (vision, langage), où l'on adapte un modèle de fondation à un usage précis.
Apprendre une fois, réutiliser partout : le transfert transforme un savoir général en compétence ciblée.