Word2Vec est une famille de modèles introduits par une équipe de Google en 2013, sous la direction de Tomas Mikolov, qui apprend à représenter chaque mot par un vecteur dense de nombres réels. L'idée tient en une phrase devenue célèbre en linguistique : « on connaît un mot par la compagnie qu'il fréquente ». Word2Vec place donc les mots aux sens proches dans des régions voisines de l'espace.
Deux architectures complémentaires
Word2Vec repose sur un réseau de neurones simple (une seule couche cachée) entraîné selon deux variantes :
| Architecture | Principe |
|---|---|
| CBOW (Continuous Bag-of-Words) | prédit le mot central à partir de son contexte |
| Skip-gram | prédit le contexte à partir du mot central |
Skip-gram fonctionne mieux pour les mots rares ; CBOW est plus rapide. Pour rendre l'entraînement efficace sur de grands corpus, on utilise des astuces comme le negative sampling et le subsampling des mots fréquents.
L'arithmétique du sens
La propriété la plus spectaculaire de Word2Vec est que les relations sémantiques deviennent des opérations vectorielles. L'exemple canonique :
$$\vec{roi} - \vec{homme} + \vec{femme} \approx \vec{reine}$$
La proximité entre deux mots se mesure par la similarité cosinus :
$$\text{sim}(\vec{u}, \vec{v}) = \frac{\vec{u} \cdot \vec{v}}{|\vec{u}|\,|\vec{v}|}$$
Héritage
- A popularisé les plongements de mots (word embeddings) statiques.
- A ouvert la voie à GloVe, FastText, puis aux modèles contextuels (BERT, GPT).
- Limite majeure : un mot = un seul vecteur, donc aucune gestion de la polysémie (« avocat » fruit vs métier).
Word2Vec a transformé le langage en géométrie : comprendre un mot, c'est désormais mesurer une distance.