تخيّل قاعة اجتماعات، حيث يمكنك لفهم كل كلمة في الجملة أن تستشير فورًا جميع الكلمات الأخرى وتقرّر أيّها مهمّ بالفعل. هذا تحديدًا ما تفعله آلية الانتباه (أو الانتباه الذاتي): فهي تتيح للنموذج أن يوازن ديناميكيًا أهمية كل عنصر في التسلسل بالنسبة إلى العناصر الأخرى. ظهرت في صميم بنية المحوّل (Transformer) عام 2017، وحلّت محل الشبكات التكرارية، وأصبحت المحرّك الأساسي لنماذج اللغة الكبيرة الحالية.
الحدس: من ينظر إلى مَن؟
في جملة «القطة تنام لأنها متعبة»، لتفسير الضمير يجب على النموذج ربطه بكلمة «القطة». يتعلّم الانتباه هذه الروابط. تُولّد كل كلمة ثلاثة متّجهات:
- الاستعلام (Query): «عمّ أبحث؟»
- المفتاح (Key): «ماذا أستطيع أن أقدّم؟»
- القيمة (Value): «أيّ معلومة أحمل؟»
الصيغة الرياضية
يقارن الانتباه بين الاستعلامات والمفاتيح، ثم يُطبّع الدرجات، ثم يدمج القيم:
$$\text{Attention}(Q, K, V) = \text{softmax}!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$
يعمل العامل $\sqrt{d_k}$ على تثبيت التدرّجات، بينما تُحوّل دالة softmax الدرجات إلى أوزان مجموعها يساوي 1.
لماذا هي ثورية؟
| المعيار | الشبكات التكرارية (RNN) | الانتباه الذاتي |
|---|---|---|
| المعالجة | تسلسلية | متوازية |
| الاعتماديات البعيدة | صعبة | مباشرة |
| السياق | محدود | شامل |
أما نسخة الرؤوس المتعددة (multi-head) فتكرّر العملية بالتوازي لالتقاط أنواع متعددة من العلاقات (نحوية ودلالية…).
بلا انتباه، لا وجود لـ ChatGPT: إنها اللبنة التي أدخلت الذكاء الاصطناعي عصر المحوّلات.