المفاضلة بين التحيز والتباين

تخيل رامي سهام: بعض السهام تخطئ الهدف باستمرار من جهة واحدة (خطأ منهجي)، وأخرى تتبعثر في كل اتجاه (عدم استقرار). تصف المفاضلة بين التحيز والتباين هذا التوتر الجوهري: لا يمكن لنموذج تعلّم آلي أن يكون مفرط البساطة ومفرط الحساسية للبيانات في آن واحد. وهي من أهم القضايا في تقييم النماذج.

مصدران متعارضان للخطأ

• تحيز مرتفع: النموذج جامد جدًا فيُغفل البنية الحقيقية للبيانات. هذا هو نقص التعلّم (underfitting). مثال: خط مستقيم لوصف علاقة منحنية.
• تباين مرتفع: النموذج يلتصق ببيانات التدريب بما فيها الضجيج. هذا هو فرط التعلّم (overfitting). يتألق على بيانات التدريب لكنه يفشل أمام بيانات جديدة.

تفكيك الخطأ

بالنسبة لخسارة تربيعية، يتفكك الخطأ المتوقع كما يلي:

$$\mathbb{E}\left[(y - \hat{f}(x))^2\right] = \underbrace{\text{Bias}^2}{} + \underbrace{\text{Variance}}{} + \underbrace{\sigma^2}_{\text{irreducible noise}}$$

الحد $\sigma^2$ غير قابل للتقليص: حتى النموذج المثالي لا يستطيع إزالته.

إيجاد التوازن

زيادة التعقيد تخفض التحيز لكنها ترفع التباين. الأدوات العملية هي التحقق المتقاطع والتنظيم (L1/L2) وجمع مزيد من البيانات.

أفضل نموذج ليس الأبسط ولا الأكثر تعقيدًا، بل هو الذي يعمّم بأفضل شكل على المجهول.