La distillation des connaissances (knowledge distillation) consiste à entraîner un petit modèle, l'élève, à imiter un grand modèle déjà performant, le professeur. Imaginez un étudiant brillant qui n'apprend pas seulement les bonnes réponses d'un manuel, mais surtout le raisonnement de son mentor : il devient presque aussi compétent tout en tenant dans une poche.
L'idée centrale : apprendre des « réponses molles »
Plutôt que d'entraîner l'élève uniquement sur les étiquettes brutes (le « chat » vaut 1, le reste 0), on l'entraîne à reproduire les probabilités complètes produites par le professeur — les soft labels. Ces distributions contiennent une information précieuse : le professeur sait qu'un husky ressemble un peu à un loup. C'est cette connaissance fine qui est transférée.
On adoucit les sorties via une température $T$ appliquée au softmax :
$$ p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$
Plus $T$ est élevée, plus la distribution est lissée et révèle les similarités entre classes. La perte combine alors imitation du professeur et vérité terrain :
$$ \mathcal{L} = \alpha \, \mathcal{L}{\text{soft}}(\text{élève}, \text{professeur}) + (1-\alpha)\, \mathcal{L}, y) $$}}(\text{élève
Professeur contre élève
| Critère | Professeur | Élève |
|---|---|---|
| Taille | Très grand | Compact |
| Coût d'inférence | Élevé | Faible |
| Précision | Référence | Proche, légèrement réduite |
| Déploiement | Serveur/cloud | Mobile, embarqué |
Pourquoi c'est utile
- Modèles rapides et légers pour smartphones ou objets connectés.
- Coûts d'inférence et consommation énergétique réduits.
- Base de nombreux modèles compacts récents (familles « distilled »).
Distiller, c'est garder l'essence du savoir d'un géant dans un format que tout le monde peut utiliser.