Imaginez un lecteur qui, au lieu de parcourir un texte de gauche à droite, embrasse la phrase entière d'un seul regard pour deviner un mot manquant grâce à tout ce qui l'entoure. C'est l'idée de BERT (Bidirectional Encoder Representations from Transformers), un modèle de langage présenté par Google en 2018. Sa rupture : comprendre chaque mot en tenant compte simultanément de son contexte gauche et droit, là où les modèles antérieurs lisaient dans une seule direction.
Une architecture d'encodeur bidirectionnel
BERT n'utilise que la partie encodeur de l'architecture Transformer, fondée sur le mécanisme d'attention. Chaque mot (ou token) est représenté par un vecteur qui s'enrichit du contexte global de la phrase. Le cœur du calcul est l'attention :
$$\text{Attention}(Q,K,V) = \text{softmax}!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$
où $Q$, $K$ et $V$ sont les requêtes, clés et valeurs dérivées des mots, et $d_k$ la dimension des clés.
Deux tâches de pré-entraînement
BERT apprend sur d'énormes corpus non annotés via deux objectifs :
- Masked Language Modeling (MLM) : on masque environ 15 % des mots et le modèle doit les retrouver.
- Next Sentence Prediction (NSP) : prédire si deux phrases se suivent réellement.
Pré-entraînement puis affinage
| Phase | Données | Objectif |
|---|---|---|
| Pré-entraînement | Corpus massif non annoté | Représentations linguistiques générales |
| Affinage (fine-tuning) | Petit jeu étiqueté | Tâche précise (sentiment, Q/R, NER) |
BERT a popularisé le paradigme « pré-entraîner une fois, affiner partout », ouvrant la voie aux grands modèles de langage modernes.