Word2Vec هو عائلة من النماذج قدّمها فريق من Google عام 2013 بقيادة Tomas Mikolov، تتعلّم تمثيل كل كلمة على هيئة متجه كثيف من الأعداد الحقيقية. تستند فكرته إلى مبدأ لغوي شهير: «تُعرَف الكلمة بصحبتها». لذلك يضع Word2Vec الكلمات المتقاربة في المعنى ضمن مناطق متجاورة من فضاء المتجهات.
بنيتان متكاملتان
يعتمد Word2Vec على شبكة عصبية بسيطة (طبقة مخفية واحدة) تُدرَّب بنمطين:
| البنية | المبدأ |
|---|---|
| CBOW (حقيبة الكلمات المستمرة) | يتنبأ بالكلمة المركزية انطلاقًا من سياقها |
| Skip-gram | يتنبأ بالسياق انطلاقًا من الكلمة المركزية |
يعمل Skip-gram بشكل أفضل مع الكلمات النادرة، بينما CBOW أسرع. ولجعل التدريب فعّالاً على المدوّنات الضخمة، تُستخدم تقنيات مثل negative sampling وsubsampling للكلمات الشائعة.
حساب المعنى
أبرز خصائص Word2Vec أن العلاقات الدلالية تتحوّل إلى عمليات على المتجهات. والمثال الكلاسيكي:
$$\vec{king} - \vec{man} + \vec{woman} \approx \vec{queen}$$
ويُقاس التقارب بين كلمتين عبر تشابه جيب التمام:
$$\text{sim}(\vec{u}, \vec{v}) = \frac{\vec{u} \cdot \vec{v}}{|\vec{u}|\,|\vec{v}|}$$
الإرث
- نشر مفهوم التضمينات اللغوية الثابتة (word embeddings).
- مهّد الطريق أمام GloVe وFastText ثم النماذج السياقية (BERT، GPT).
- قيد رئيسي: كلمة واحدة = متجه واحد، فلا يعالج تعدّد المعاني (مثل كلمة «عين»: عضو الإبصار أم نبع الماء).
حوّل Word2Vec اللغة إلى هندسة: فَهْم الكلمة صار يعني قياس مسافة.