تخيّل قارئاً لا يتصفّح النص من اليسار إلى اليمين، بل يستوعب الجملة كاملةً بنظرة واحدة كي يخمّن كلمة ناقصة اعتماداً على كل ما يحيط بها. هذه هي فكرة بيرت (Bidirectional Encoder Representations from Transformers)، وهو نموذج لغوي قدّمته غوغل عام 2018. تَكمن قفزته في فهم كل كلمة بالاعتماد على سياقها الأيسر والأيمن في آنٍ واحد، بينما كانت النماذج السابقة تقرأ في اتجاه واحد فقط.
بنية مُرمِّز ثنائي الاتجاه
يستخدم بيرت الجزء الخاص بـالمُرمِّز (encoder) فقط من بنية المحوّل (Transformer)، المبنية على آلية الانتباه (attention). تُمثَّل كل كلمة (أو رمز) بمتجه يَثرى بالسياق العام للجملة. وجوهر الحساب هو الانتباه:
$$\text{Attention}(Q,K,V) = \text{softmax}!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$
حيث $Q$ و$K$ و$V$ هي الاستعلامات والمفاتيح والقيم المشتقة من الكلمات، و$d_k$ بُعد المفاتيح.
مهمتان للتدريب المسبق
يتعلّم بيرت من نصوص ضخمة غير مُوسومة عبر هدفين:
- نمذجة اللغة المُقنَّعة (MLM): يُخفى نحو 15% من الكلمات وعلى النموذج استعادتها.
- التنبؤ بالجملة التالية (NSP): توقّع ما إذا كانت جملتان متتاليتين فعلاً.
تدريب مسبق ثم ضبط دقيق
| المرحلة | البيانات | الهدف |
|---|---|---|
| التدريب المسبق | نصوص هائلة غير مُوسومة | تمثيلات لغوية عامة |
| الضبط الدقيق | مجموعة صغيرة مُوسومة | مهمة محددة (المشاعر، الأسئلة، NER) |
رسّخ بيرت نموذج «درّب مرةً، واضبط في كل مكان»، ممهّداً الطريق أمام النماذج اللغوية الكبيرة الحديثة.