التعلّم ذاتي الإشراف

تخيّل طالبًا أُعطي نصًّا مُحيت منه بعض الكلمات: لكي يُخمّن الفراغات عليه أن يفهم القواعد والمعنى والسياق. هذه بالضبط فكرة التعلّم ذاتي الإشراف (Self-Supervised Learning): يتعلّم النموذج من بيانات خام غير مُصنّفة، مُولِّدًا إشارة الإشراف بنفسه انطلاقًا من البنية الداخلية للبيانات.

المبدأ: تسميات مجانية

بدلًا من الاعتماد على تصنيف بشري مُكلِف، نُصمّم مهمّة ذريعة (pretext task) يُستخدَم فيها جزء من البيانات للتنبؤ بجزء آخر. وهناك عائلتان كبيرتان:

• التنبؤية / المُقنّعة: إخفاء جزء من المُدخَل ثم إعادة بنائه (الكلمات المقنّعة في BERT، والرموز التالية في GPT).
• التبايُنية: تقريب رؤيتين لنفس المثال وإبعاد الأمثلة المختلفة (SimCLR في الصور).

بالنسبة لنموذج لغوي انحداري ذاتي، يكون الهدف تعظيم احتمال الرمز التالي:

$$\mathcal{L} = -\sum_{t=1}^{T} \log P(x_t \mid x_1, \dots, x_{t-1})$$

موقعه بين المقاربات

لماذا هو محوري اليوم

إنه المحرّك وراء النماذج الأساسية: نُجري التدريب المسبق على مدوّنات ضخمة غير مُصنّفة، ثم نُهذّب النموذج على مهمّة صغيرة مُحدّدة. هكذا نستثمر بيانات الويب الوفيرة حيث يكون التصنيف اليدوي نادرًا وباهظًا.

حرّر التعلّم ذاتي الإشراف الذكاءَ الاصطناعيَّ من اعتماده على التسميات البشرية: فصارت البيانات الخام مُعلِّمةً لنفسها.