تخيّل مساعدًا قادرًا في آنٍ واحد على النظر إلى صورة والتحدّث معك عنها: هذا بالضبط ما يفعله نموذج الرؤية واللغة (VLM). فهو يدمج الإدراك البصري لنموذج رؤية مع الفهم وتوليد النصّ لنموذج لغوي كبير، داخل دماغ اصطناعي واحد.
كيف يعمل
يقوم النموذج على ثلاث لبنات. مُرمِّز الصور (غالبًا محوّل الرؤية Vision Transformer) يقسّم الصورة إلى أجزاء صغيرة ويحوّلها إلى متجهات. ثم يأتي المُسقِط الذي يحاذي هذه المتجهات في الفضاء نفسه الذي تعيش فيه الكلمات. وأخيرًا يقرأ النموذج اللغوي هذه السلسلة المختلطة (صورة + نصّ) ويولّد الجواب.
الفكرة الجوهرية هي المحاذاة متعدّدة الوسائط: يجب أن تتشارك البكسلات والكلمات الفضاء نفسه. وقد عمّم نموذج CLIP الشهير (من OpenAI سنة 2021) هذا النهج عبر تعلّم تقريب الصورة من النصّ الواصف لها:
$$\text{sim}(I, T) = \frac{f(I) \cdot g(T)}{\lVert f(I)\rVert \, \lVert g(T)\rVert}$$
حيث يُرمّز $f(I)$ الصورة و $g(T)$ النصّ؛ والنتيجة المرتفعة تعني أنهما «يتحدثان» عن الشيء نفسه.
فيمَ يُستعمل
| المهمّة | مثال ملموس |
|---|---|
| وصف الصور | وصف صورة تلقائيًا |
| الإجابة البصرية | الإجابة عن «كم شخصًا في هذه الصورة؟» |
| قراءة + استنتاج | قراءة فاتورة وحساب المجموع |
| المساعدة | إرشاد كفيف، تحليل رسم بياني طبي |
الحدود
قد «يهلوس» النموذج فيذكر أشياء غير موجودة، أو يخطئ في قراءة نصّ دقيق، أو يرث تحيّزات من بيانات تدريبه. فجوابه احتمالٌ لا حقيقة مضمونة.
نموذج الرؤية واللغة لا يكتفي بالرؤية: بل يربط المرئيّ باللغة، ممهّدًا الطريق نحو ذكاء يفهم العالم كما نصفه نحن.