Imaginez un artiste qui, plutôt que de mémoriser chaque tableau, apprend une palette d'idées abstraites à partir desquelles il peut peindre des œuvres inédites. L'autoencodeur variationnel (VAE) fait exactement cela : il compresse des données complexes (images, sons, molécules) en un espace latent continu et structuré, puis sait en regénérer de nouveaux exemples plausibles. C'est l'un des piliers historiques des modèles génératifs profonds.
Encodeur, espace latent, décodeur
Un VAE combine deux réseaux. L'encodeur transforme une entrée $x$ non pas en un point fixe, mais en une distribution de probabilité : une moyenne $\mu$ et une variance $\sigma^2$. On échantillonne ensuite un vecteur latent $z$ dans cette distribution, et le décodeur tente de reconstruire $x$ à partir de $z$.
Cette astuce probabiliste — modéliser une distribution plutôt qu'un point — rend l'espace latent lisse et continu : deux points proches dans cet espace donnent des sorties proches, ce qui permet de naviguer et d'interpoler entre les données.
La double fonction de perte
L'entraînement minimise une borne appelée ELBO (Evidence Lower Bound), qui équilibre deux objectifs :
$$\mathcal{L} = \underbrace{\mathbb{E}{q(z|x)}[\log p(x|z)]}$$}} - \underbrace{D_{KL}\big(q(z|x)\,|\,p(z)\big)}_{\text{régularisation}
| Terme | Rôle |
|---|---|
| Reconstruction | La sortie doit ressembler à l'entrée |
| Divergence KL | L'espace latent reste proche d'une loi normale, donc bien organisé |
Le « reparameterization trick » ($z = \mu + \sigma \odot \epsilon$) permet de rendre l'échantillonnage dérivable, et donc entraînable par rétropropagation.
VAE vs autres modèles
- VAE : espace latent structuré, sorties parfois floues.
- GAN : images plus nettes, mais entraînement instable.
- Diffusion : qualité supérieure aujourd'hui, mais plus lourd.
Le VAE n'a pas gagné la course à la netteté, mais il a légué l'idée maîtresse de tout le génératif moderne : organiser le hasard dans un espace latent que l'on peut explorer.