تخيّل أن كل كلمة أو جملة أو صورة يمكن تحويلها إلى قائمة من الأرقام — أي إحداثيات داخل فضاء هندسي شاسع. هذا تحديدًا ما يفعله التضمين المتجهي (Embedding): فهو يحوّل البيانات الرمزية (كلمة، مستند، صورة) إلى متجه كثيف من الأرقام الحقيقية، بحيث يعكس التقارب الهندسي بين المتجهات تقارب المعنى بينها.
من الرمز إلى المعنى
لا تفهم الحواسيب الكلمات، بل الأرقام فقط. الطريقة البسيطة المسماة one-hot تمنح كل كلمة متجهًا ضخمًا وشبه فارغ، لا تكون فيه أي كلمة «قريبة» من أخرى. يحلّ التضمين هذه المشكلة: إذ يضع كل مفهوم في فضاء منخفض الأبعاد (عادة بين 300 و1536 بُعدًا) تصبح فيه العلاقات الدلالية علاقات هندسية.
تستند الفكرة المؤسِّسة إلى الفرضية التوزيعية: «تُعرَّف الكلمة بالكلمات التي ترافقها». تتعلّم نماذج مثل Word2Vec وGloVe، ثم التضمينات السياقية في BERT، هذه المتجهات انطلاقًا من نصوص ضخمة.
قياس التشابه
كثيرًا ما يُقاس التقارب بين متجهين $\vec{a}$ و $\vec{b}$ عبر تشابه جيب التمام:
$$\text{sim}(\vec{a}, \vec{b}) = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}| \, |\vec{b}|}$$
القيمة القريبة من 1 تعني تشابهًا كبيرًا في المعنى، والقريبة من 0 تعني انعدام العلاقة. ومن هنا ينشأ الحساب المتجهي الشهير:
$$\vec{king} - \vec{man} + \vec{woman} \approx \vec{queen}$$
لماذا هو أساسي
| التطبيق | دور التضمين |
|---|---|
| البحث الدلالي | إيجاد المستندات بالمعنى لا بالكلمات المفتاحية |
| RAG | استرجاع السياق الملائم لنموذج لغوي |
| التوصية | تقريب المنتجات أو المستخدمين المتشابهين |
| التصنيف | تمثيل النص كمدخل لنموذج |
التضمينات المتجهية هي الجسر الصامت بين اللغة البشرية وحساب الآلة: فهي تمنح المعنى هندسةً.