تخيّل قارئًا قادرًا على استيعاب كل كلمات الجملة دفعةً واحدة، مع ترجيحٍ فوري لأهمها في فهم المعنى: هذا هو المُحوِّل (Transformer). ظهرت هذه البنية العصبية عام 2017 في بحث «Attention Is All You Need»، وأصبحت الأساس الذي تقوم عليه نماذج اللغة الكبيرة الحديثة (GPT وBERT وGemini وClaude).
آلية الانتباه
الفكرة المحورية هي الانتباه الذاتي (self-attention). فبدلًا من معالجة التسلسل كلمةً تلو الأخرى، يقارن المُحوِّل كل عنصرٍ بجميع العناصر الأخرى ويحسب أوزانًا تُبيّن أهمية كل علاقة. تُسقَط كل كلمة على ثلاثة متجهات: الاستعلام (Q) والمفتاح (K) والقيمة (V). ويُكتب جوهر الحساب على النحو التالي:
$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$
يعمل العامل $\sqrt{d_k}$ على تثبيت الانحدارات. أما الانتباه متعدد الرؤوس فيكرّر العملية بالتوازي لالتقاط أنواعٍ متعددة من العلاقات في آنٍ واحد.
لماذا كان ثوريًا
| الجانب | RNN / LSTM | المُحوِّل |
|---|---|---|
| المعالجة | تسلسلية | متوازية |
| الاعتماديات البعيدة | صعبة | متأصّلة |
| التدريب على GPU | بطيء | عالي الكفاءة |
بإلغاء التكرار، يستغل المُحوِّل الحوسبة المتوازية لوحدات المعالجة الرسومية (GPU) استغلالًا كاملًا، مما أتاح التوسّع نحو نماذجَ بمئات المليارات من المعاملات. وبما أن الانتباه يتجاهل الترتيب، يُضاف ترميز موضعي لإعادة إدخال مفهوم الموقع.
لم يحسّن المُحوِّل معالجة اللغة فحسب، بل أعاد تعريف ما يمكن للذكاء الاصطناعي تعلّمه، من النصوص إلى الصور وصولًا إلى البرمجة.