Imaginez décrire une scène en une phrase — « un astronaute galopant à cheval sur Mars au coucher du soleil » — et obtenir quelques secondes de vidéo cohérente. C'est la promesse du texte-vers-vidéo (text-to-video) : une famille de modèles génératifs qui transforment une description en langage naturel (le prompt) en une séquence d'images animées plausibles, sans caméra ni acteur.
Comment ça marche
La plupart des systèmes récents reposent sur des modèles de diffusion, étendus du domaine de l'image à celui de la vidéo. Le principe : on apprend à un réseau à débruiter progressivement un signal initialement aléatoire jusqu'à former une vidéo, en conditionnant ce processus sur le texte (via un encodeur comme CLIP).
La difficulté majeure n'est pas de générer une belle image, mais d'assurer la cohérence temporelle : un objet ne doit pas changer de couleur ou disparaître entre deux images. Les architectures modernes (souvent des Diffusion Transformers) traitent la vidéo comme une suite de patchs spatio-temporels et apprennent les mouvements à travers le temps.
Le processus de débruitage itératif peut s'écrire de façon simplifiée :
$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}}\,\epsilon\theta(x_t, t, c)\right)$$
où $\epsilon_\theta$ est le bruit prédit, conditionné par le texte $c$.
Usages et limites
| Atout | Limite |
|---|---|
| Prototypage rapide de scènes | Durée courte (quelques secondes) |
| Coût de production réduit | Cohérence physique imparfaite |
| Storyboards, publicité, éducation | Risque de deepfakes |
Le texte-vers-vidéo abolit la barrière entre l'idée et l'image animée — mais transfère la difficulté vers la maîtrise du prompt et la vérification de ce que l'on regarde.