تخيّل وصفةً للطهي كلّما ضاعفتَ فيها المكوّنات والفرن ووقت الطهي، صار الكعك أفضل بصورة قابلة للقياس وبشكل يمكن التنبّؤ به. هذا تماماً ما تصفه قوانين التوسّع (scaling laws) في مجال الذكاء الاصطناعي: يتحسّن أداء النموذج بانتظام وبصورة متوقّعة عند زيادة ثلاثة عوامل — حجم النموذج (عدد المعاملات)، وكمّية بيانات التدريب، وقدرة الحوسبة المستثمَرة.
علاقة وفق قانون القوّة
الاكتشاف المحوري، الذي روّجت له أبحاث OpenAI عام 2020 ثمّ نقّحته DeepMind، هو أنّ خطأ النموذج (أو الخسارة) يتناقص وفق قانون قوّة بالنسبة لكلّ عامل. وبصورة تخطيطية:
$$L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha}$$
حيث $L$ هي الخسارة، و$N$ عدد المعاملات، و$\alpha$ أُسٌّ موجب. النتيجة العملية لافتة: على رسم بياني لوغاريتمي مزدوج، يتبع الأداء خطّاً مستقيماً شبه مثالي عبر عدّة مراتب من المقدار.
توازن «تشينشيلا»
لمدّة طويلة كانت الاستراتيجية الغالبة هي مجرّد تكبير النماذج. في عام 2022 أظهر نموذج Chinchilla من DeepMind أنّ كثيراً من النماذج كانت ناقصة التدريب: فعند ميزانية حوسبة ثابتة، يجب الموازنة بين المعاملات والبيانات.
| العامل | أثر زيادته | الحدّ |
|---|---|---|
| المعاملات ($N$) | سعة أكبر | كلفة الذاكرة والحوسبة |
| البيانات ($D$) | تعميم أفضل | البيانات الجيّدة محدودة |
| الحوسبة ($C$) | تتيح $N$ و$D$ أكبر | الكلفة الطاقية والمالية |
لماذا هي مفهوم أساسي
حوّلت قوانين التوسّع الذكاءَ الاصطناعي إلى علم هندسة قابلة للتنبّؤ: إذ يمكن تقدير أداء نموذج مستقبلي قبل تدريبه، ممّا يبرّر الاستثمارات الضخمة.
ليس الأكثرُ دائماً أفضل — لكن بفضل قوانين التوسّع نعرف كم نزيد، وأين نستثمر.