الترميز الموضعي

تخيّل أنك تقرأ جملة أُلقيت كلماتها جميعًا في كيس دون أي ترتيب. هذا بالضبط ما «يراه» نموذج المحوّل (Transformer) من دون ترميز موضعي: فآلية الانتباه لديه تتعامل مع المُدخل كمجموعة غير مرتّبة من الرموز. الترميز الموضعي هو الحيلة التي تعيد حقن معلومات الترتيب والمسافة بين الكلمات.

لماذا نحتاج إليه؟

على عكس الشبكات التكرارية (RNN) التي تقرأ الكلمات واحدةً تلو الأخرى، فإن انتباه المحوّل ثابت تحت التبديل (permutation-invariant): فجملتا «القطّ يأكل الفأر» و«الفأر يأكل القطّ» ستنتجان التمثيلات نفسها. وللتمييز بينهما، يُضاف إلى متّجه كل كلمة (embedding) متّجهٌ يعتمد على موضعها في التسلسل.

الترميز الجيبي الأصلي

في الورقة المؤسِّسة Attention Is All You Need (2017)، اقترح المؤلفون دوالّ الجيب وجيب التمام بترددات مختلفة:

$$PE_{(pos,\,2i)} = \sin!\left(\frac{pos}{10000^{2i/d}}\right), \quad PE_{(pos,\,2i+1)} = \cos!\left(\frac{pos}{10000^{2i/d}}\right)$$

حيث $pos$ هو الموضع، و$i$ مؤشّر البُعد، و$d$ حجم المتّجه. وهكذا يحصل كل موضع على بصمة فريدة، ويمكن التعبير عن المواضع النسبية بتركيبات خطّية بسيطة.

العائلات الرئيسية

تتميّز المقاربات الحديثة مثل RoPE بقدرتها على التعميم بشكل أفضل على تسلسلات أطول من تلك التي رآها النموذج أثناء التدريب.

من دون ترميز موضعي، سيسمع المحوّل الكلمات لكنه سيتجاهل ترتيبها — والترميز الموضعي يُعيد للجملة معناها.