تخيّل متنزّهًا تاه في الضباب على جبل ويحاول الوصول إلى الوادي. وبما أنه لا يرى الأفق، فإنه يتحسّس الأرض تحت قدميه ويخطو في الاتجاه الأكثر انحدارًا نحو الأسفل. هكذا يعمل الانحدار التدرّجي تمامًا: إنه خوارزمية التحسين التي تتيح لنموذج الذكاء الاصطناعي أن يتعلّم عبر تقليص خطئه تدريجيًا.
المبدأ
يُعرَّف النموذج بمجموعة من المعاملات (أوزان الشبكة). وتقيس دالة الكلفة $J(\theta)$ مدى خطأ تنبؤاته. والهدف هو إيجاد المعاملات التي تُصغِّر هذه الكلفة. يشير التدرّج $\nabla J(\theta)$ إلى اتجاه الصعود الأشدّ، لذا نتحرّك في الاتجاه المعاكس:
$$\theta \leftarrow \theta - \eta \, \nabla J(\theta)$$
يتحكّم معدّل التعلّم $\eta$ في حجم الخطوة: إذا كان كبيرًا جدًا تذبذب النموذج دون تقارب، وإذا كان صغيرًا جدًا أصبح التعلّم بطيئًا للغاية.
ثلاثة أنواع
| النوع | البيانات لكل خطوة | السمة |
|---|---|---|
| الدُّفعة الكاملة (Batch) | كامل البيانات | مستقر لكن بطيء |
| العشوائي (SGD) | مثال واحد | سريع لكن مشوَّش |
| الدُّفعة الصغيرة (Mini-batch) | دفعة صغيرة | الحلّ الوسط الأشيع |
في الممارسة
الانحدار التدرّجي هو محرّك التعلّم العميق. وبالاقتران مع الانتشار العكسي (الذي يحسب التدرّج بكفاءة طبقةً تلو الأخرى)، فإنه يدرّب اليوم أكبر النماذج. وتعمل مُحسِّنات مثل Adam وRMSProp على تطويره عبر تكييف حجم الخطوة تلقائيًا لكل معامل.
بالنسبة للآلة، التعلّم هو ببساطة النزول على منحدر أخطائها حتى تبلغ قاع الوادي.