تخيّل طالباً يحفظ حلول الامتحانات السابقة عن ظهر قلب: بارع في تلك الأسئلة بالذات، لكنه يتوه فور ظهور سؤال جديد. التنظيم هو مجموعة التقنيات التي تمنع نموذج التعلّم الآلي من الوقوع في هذا الفخ. فهو يحدّ عمداً من قدرة النموذج على ملاءمة بيانات التدريب، حتى يلتقط النمط العام بدل الضوضاء، وبالتالي يُعمّم بشكل أفضل على بيانات لم يرها من قبل.
المشكلة: فرط التطابق
النموذج المفرط في المرونة ينتهي به الأمر إلى حفظ كل تفصيلة في مجموعة التدريب، بما في ذلك أخطاؤها العشوائية. هذا هو فرط التطابق (overfitting): خطأ شبه معدوم على التدريب، لكن أداء ضعيف على البيانات الجديدة. يُدخل التنظيم انحيازاً متحكَّماً فيه لتقليل تباين النموذج — وهو جوهر مفاضلة الانحياز والتباين.
عقوبتا L1 و L2
تضيف الطرق الكلاسيكية حدّ عقوبة إلى دالة الكلفة، يُثبّط الأوزان المفرطة في الكبر:
$$ J(\theta) = \text{Loss}(\theta) + \lambda \sum_{i} |\theta_i|^p $$
يضبط المعامل $\lambda$ قوة الكبح. عند $p=2$ نحصل على L2 (ridge) التي تُقلّص الأوزان؛ وعند $p=1$ على L1 (lasso) التي تُصفّر بعضها فتُنجز انتقاء السمات.
| الطريقة | الأثر على الأوزان | الاستخدام المعتاد |
|---|---|---|
| L1 (Lasso) | تُصفّر بعض الأوزان | انتقاء السمات |
| L2 (Ridge) | تُقلّص كل الأوزان | تنعيم عام |
| Dropout | تعطيل عشوائي للعصبونات | الشبكات العميقة |
| Early stopping | إيقاف التدريب في الوقت المناسب | أي معمارية |
ما وراء العقوبات
في التعلّم العميق نعتمد أيضاً على Dropout (تعطيل عصبونات عشوائياً) وزيادة البيانات والإيقاف المبكر.
أن تُنظّم بإتقان يعني أن تُعلّم النموذج أن ينسى القدر الكافي لكي يفهم أكثر.