L'IA multimodale désigne les systèmes d'intelligence artificielle capables de percevoir, comprendre et générer plusieurs modalités à la fois — texte, image, audio, vidéo, voire signaux physiologiques. Là où un modèle classique ne « lit » que du texte, un modèle multimodal fonctionne comme un être humain doté de plusieurs sens : il regarde une photo, lit une légende et écoute un commentaire pour en construire une compréhension unifiée.
Le principe : un espace de représentation commun
Le cœur de l'IA multimodale est la projection de données hétérogènes dans un même espace vectoriel partagé (embedding space). Un mot, un pixel et un son sont chacun transformés en vecteurs comparables. Le modèle apprend alors à rapprocher les représentations qui décrivent la même réalité — par exemple le mot « chat », la photo d'un chat et le bruit d'un miaulement.
Une approche dominante est l'apprentissage contrastif, qui maximise la similarité entre une image et son texte associé tout en l'éloignant des paires non concordantes :
$$\mathcal{L} = -\log \frac{\exp(\text{sim}(I, T)/\tau)}{\sum_{k} \exp(\text{sim}(I, T_k)/\tau)}$$
où $\text{sim}$ est une similarité cosinus et $\tau$ une température.
Modalités et usages
| Entrée | Sortie | Exemple d'usage |
|---|---|---|
| Image + texte | Texte | Décrire une radiographie |
| Texte | Image | Génération illustrative |
| Audio + texte | Texte | Assistant vocal contextuel |
| Vidéo | Texte | Résumé automatique |
Pourquoi c'est décisif
Le sens naît souvent du croisement des sources : un graphique sans légende est ambigu, une phrase sans image l'est aussi. En fusionnant les signaux, ces modèles réduisent les erreurs et ouvrent des applications en santé, éducation et accessibilité.
La multimodalité rapproche l'IA de la manière dont nous percevons réellement le monde : par plusieurs sens à la fois.