Imaginez un sculpteur qui part d'un bloc de marbre brouillé — du bruit pur — et qui, geste après geste, retire la poussière jusqu'à révéler une image nette. C'est exactement l'intuition derrière un modèle de diffusion : une famille de modèles génératifs qui apprennent à inverser un processus de dégradation progressive. C'est la technologie au cœur de DALL·E 2, Stable Diffusion, Midjourney et Imagen.
Deux processus en miroir
Un modèle de diffusion repose sur deux trajectoires opposées :
- Le processus forward (diffusion) : on ajoute du bruit gaussien à une image réelle, étape par étape, jusqu'à la transformer en bruit pur indiscernable. Ce processus est fixe et ne s'apprend pas.
- Le processus reverse (débruitage) : un réseau de neurones (souvent un U-Net) apprend à prédire et retirer le bruit à chaque étape, reconstruisant progressivement une image cohérente à partir du chaos.
L'ajout de bruit à l'étape $t$ peut s'écrire :
$$ x_t = \sqrt{\bar{\alpha}_t}\, x_0 + \sqrt{1 - \bar{\alpha}_t}\, \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) $$
Le réseau est entraîné à prédire ce bruit $\epsilon$, en minimisant l'erreur entre le bruit réel et le bruit prédit.
Pourquoi ça domine la génération d'images
| Critère | Diffusion | GAN |
|---|---|---|
| Stabilité d'entraînement | Élevée | Souvent instable |
| Diversité des images | Excellente | Risque de mode collapse |
| Vitesse de génération | Lente (multi-étapes) | Rapide (1 passe) |
| Qualité / contrôle | Très fine | Variable |
La génération conditionnée par texte s'obtient en guidant le débruitage avec un embedding de la légende (via CLIP, par exemple), souvent renforcé par le classifier-free guidance.
Le génie de la diffusion : transformer la création en une série de petits problèmes de débruitage, chacun bien plus simple que de peindre une image d'un seul trait.