التدريب المُسبَق

تخيّل طالبًا يلتهم مكتبة كاملة قبل أن يختار تخصّصه: هذا تحديدًا هو التدريب المُسبَق (pre-training) بالنسبة لنموذج الذكاء الاصطناعي. إنها المرحلة الأولى والأكثر تكلفة، حيث تستوعب الشبكة العصبية كميات هائلة من البيانات الخام — تريليونات الكلمات — لتكوين فهم عام للعالم، قبل أيّ ضبط دقيق على مهمّة محدّدة.

التعلّم دون وسوم

يعتمد التدريب المُسبَق غالبًا على التعلّم ذاتي الإشراف: لا حاجة إلى تعليق بشري. فالنموذج يستخلص إشرافه بنفسه من البيانات. وبالنسبة لنماذج اللغة الكبيرة، يكون الهدف المعتاد هو التنبّؤ بالكلمة التالية: فعند إعطاء سلسلة من الرموز، يقدّر النموذج الرمز الأكثر احتمالًا. ونقوم بتقليل خسارة الإنتروبيا المتقاطعة:

$$\mathcal{L} = -\sum_{t=1}^{T} \log P_\theta(x_t \mid x_{<t})$$

وبتكرار هذه العملية على مليارات الأمثلة، يستوعب النموذج القواعد والحقائق وأنماط الاستدلال والأساليب.

التدريب المُسبَق مقابل الضبط الدقيق

لماذا يُعدّ حاسمًا

التدريب المُسبَق هو ما يمنح النموذج قدراته المنبثقة وتعدّد استخداماته. وهو قابل لإعادة الاستعمال: نموذج أساسي واحد يخدم لاحقًا عشرات التطبيقات عبر تكييف خفيف. وهذا هو جوهر نموذج النماذج الأساسية.

التدريب المُسبَق هو بناء أساس كوني؛ وكلّ ما تبقّى ليس سوى لمسات أخيرة.