Imaginez un assistant qui peut à la fois regarder une photo et en parler avec vous : c'est exactement ce qu'est un modèle vision-langage (VLM). Il fusionne la perception visuelle d'un modèle de vision avec la compréhension et la génération de texte d'un grand modèle de langage, dans un seul cerveau artificiel.
Comment ça marche
Un VLM repose sur trois briques. Un encodeur d'image (souvent un Vision Transformer) découpe l'image en petits morceaux et les transforme en vecteurs. Un projecteur aligne ces vecteurs dans le même espace que les mots. Enfin, le modèle de langage lit cette séquence mixte (image + texte) et génère une réponse.
L'idée clé est l'alignement multimodal : pixels et mots doivent vivre dans un espace commun. Le célèbre modèle CLIP (OpenAI, 2021) a popularisé cette approche en apprenant à rapprocher une image de sa légende :
$$\text{sim}(I, T) = \frac{f(I) \cdot g(T)}{\lVert f(I)\rVert \, \lVert g(T)\rVert}$$
où $f(I)$ encode l'image et $g(T)$ le texte ; un score élevé signifie qu'ils « parlent » de la même chose.
À quoi ça sert
| Tâche | Exemple concret |
|---|---|
| Légendage | Décrire une photo automatiquement |
| VQA | Répondre à « combien de personnes sur cette image ? » |
| OCR + raisonnement | Lire un ticket de caisse et calculer le total |
| Assistance | Guider un malvoyant, analyser un graphique médical |
Limites
Les VLM peuvent halluciner des objets absents, mal lire un texte fin, ou hériter de biais présents dans leurs données. Leur réponse reste une probabilité, pas une vérité garantie.
Un VLM ne fait pas que voir : il relie le visible au langage, ouvrant la voie à des IA qui comprennent le monde comme nous le décrivons.