Imaginez un étudiant qui dévore une bibliothèque entière avant de choisir sa spécialité : le pré-entraînement (pre-training) est exactement cela pour un modèle d'IA. C'est la phase initiale et la plus coûteuse, durant laquelle un réseau de neurones absorbe d'énormes quantités de données brutes — des milliers de milliards de mots — pour acquérir une connaissance générale du monde, avant tout réglage fin sur une tâche précise.
Apprendre sans étiquettes
Le pré-entraînement repose le plus souvent sur l'apprentissage auto-supervisé : aucune annotation humaine n'est nécessaire. Le modèle crée lui-même sa supervision à partir du texte. Pour les grands modèles de langage, l'objectif typique est la prédiction du mot suivant : étant donné une suite de tokens, le modèle estime le token le plus probable. On minimise la perte d'entropie croisée :
$$\mathcal{L} = -\sum_{t=1}^{T} \log P_\theta(x_t \mid x_{<t})$$
À force de répéter ce jeu sur des milliards d'exemples, le modèle internalise grammaire, faits, raisonnements et styles.
Pré-entraînement vs réglage fin
| Critère | Pré-entraînement | Réglage fin (fine-tuning) |
|---|---|---|
| Données | Énormes, génériques | Petites, ciblées |
| Étiquettes | Auto-supervisé | Souvent supervisé |
| Coût | Très élevé (GPU, semaines) | Modéré |
| But | Connaissance générale | Spécialisation |
Pourquoi c'est décisif
C'est le pré-entraînement qui confère au modèle ses capacités émergentes et sa polyvalence. Il est réutilisable : un seul modèle de base sert ensuite des dizaines d'applications via un réglage léger. C'est le cœur du paradigme des modèles de fondation.
Pré-entraîner, c'est bâtir une fondation universelle ; tout le reste n'est que finition.