Un autoencodeur est un réseau de neurones qui apprend à reconstruire ses propres entrées en passant par un goulot d'étranglement. Imaginez un traducteur qui résume un long roman en quelques phrases, puis tente de réécrire le roman entier à partir de ce résumé : plus la reconstruction est fidèle, mieux le résumé a capturé l'essentiel. C'est exactement l'esprit de l'apprentissage de représentations.
Encodeur, espace latent, décodeur
L'architecture se découpe en trois parties :
- L'encodeur $f$ compresse l'entrée $x$ en un code compact $z$ (l'espace latent).
- Le décodeur $g$ reconstruit une approximation $\hat{x}$ à partir de $z$.
- Le réseau s'entraîne à minimiser l'écart de reconstruction :
$$\mathcal{L}(x) = \lVert x - g(f(x)) \rVert^2$$
Le goulot d'étranglement force le modèle à conserver l'information utile et à jeter le bruit : il ne peut pas tout mémoriser.
Variantes principales
| Variante | Idée clé | Usage typique |
|---|---|---|
| Débruitant | Reconstruit une entrée propre à partir d'une version bruitée | Nettoyage d'images |
| Parcimonieux | Force peu de neurones actifs | Détection de caractéristiques |
| Variationnel (VAE) | Apprend une distribution latente $\mathcal{N}(\mu, \sigma)$ | Génération d'images, de sons |
Pourquoi c'est génératif
Le VAE rend l'espace latent continu et structuré. En échantillonnant un point $z$ au hasard et en le passant au décodeur, on crée une donnée nouvelle jamais vue. C'est ce mécanisme qui place l'autoencodeur parmi les briques fondatrices de l'IA générative, aux côtés des GAN et de la diffusion.
Compresser pour comprendre, puis comprendre pour créer : telle est la double vocation de l'autoencodeur.