Imaginez un étudiant à qui l'on donne un texte dont on a effacé certains mots : pour deviner les blancs, il doit comprendre la grammaire, le sens et le contexte. C'est exactement l'idée de l'apprentissage auto-supervisé (self-supervised learning) : le modèle apprend à partir de données brutes et non étiquetées, en générant lui-même son signal de supervision à partir de la structure interne des données.
Le principe : des étiquettes gratuites
Plutôt que de dépendre d'annotations humaines coûteuses, on construit une tâche prétexte (pretext task) où une partie des données sert à prédire une autre partie. Deux grandes familles existent :
- Prédictive / masquée : cacher une portion de l'entrée et la reconstruire (mots masqués pour BERT, tokens suivants pour GPT).
- Contrastive : rapprocher deux vues d'un même exemple et éloigner des exemples différents (SimCLR, images).
Pour un modèle de langue autorégressif, l'objectif est de maximiser la vraisemblance du token suivant :
$$\mathcal{L} = -\sum_{t=1}^{T} \log P(x_t \mid x_1, \dots, x_{t-1})$$
Où se situe-t-il ?
| Paradigme | Étiquettes | Source du signal |
|---|---|---|
| Supervisé | Requises (humaines) | Annotateur externe |
| Non supervisé | Aucune | Structure (clusters) |
| Auto-supervisé | Dérivées des données | La donnée elle-même |
Pourquoi c'est central aujourd'hui
C'est le moteur des modèles de fondation : on pré-entraîne sur d'immenses corpus non étiquetés, puis on affine (fine-tuning) sur une petite tâche ciblée. Cela exploite les données abondantes du web là où l'annotation manuelle est rare et chère.
L'auto-supervision a libéré l'IA de sa dépendance aux étiquettes humaines : la donnée brute devient son propre professeur.