Imaginez que chaque mot, chaque phrase ou chaque image puisse être transformé en une liste de nombres — des coordonnées dans un vaste espace géométrique. C'est exactement ce que fait un plongement vectoriel (embedding) : il convertit des données symboliques (un mot, un document, une image) en un vecteur dense de nombres réels, de telle sorte que la proximité géométrique reflète la proximité de sens.
Du symbole au sens
Les ordinateurs ne comprennent pas les mots, seulement les nombres. La technique naïve dite one-hot attribue à chaque mot un vecteur immense, presque vide, où aucun mot n'est « proche » d'un autre. Le plongement résout ce problème : il place chaque concept dans un espace de dimension réduite (typiquement 300 à 1536 dimensions) où les relations sémantiques deviennent géométriques.
L'idée fondatrice repose sur l'hypothèse distributionnelle : « un mot se définit par la compagnie qu'il fréquente ». Les modèles comme Word2Vec, GloVe, puis les embeddings contextuels de BERT apprennent ces vecteurs à partir d'immenses corpus de texte.
Mesurer la similarité
La proximité entre deux vecteurs $\vec{a}$ et $\vec{b}$ se mesure souvent par la similarité cosinus :
$$\text{sim}(\vec{a}, \vec{b}) = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}| \, |\vec{b}|}$$
Une valeur proche de 1 signifie un sens très similaire ; proche de 0, aucun rapport. C'est ainsi qu'émerge la fameuse arithmétique vectorielle :
$$\vec{roi} - \vec{homme} + \vec{femme} \approx \vec{reine}$$
Pourquoi c'est essentiel
| Application | Rôle de l'embedding |
|---|---|
| Recherche sémantique | Trouver des documents par sens, non par mots-clés |
| RAG | Récupérer le contexte pertinent pour un LLM |
| Recommandation | Rapprocher produits ou utilisateurs similaires |
| Classification | Représenter le texte en entrée d'un modèle |
Les plongements vectoriels sont le pont silencieux entre le langage humain et le calcul machine : ils donnent au sens une géométrie.