معدل التعلّم

تخيّل أنك تنزل من جبل وسط الضباب بحثاً عن أخفض وادٍ. معدل التعلّم (ويُرمز له غالباً بـ $\eta$) هو طول كل خطوة تخطوها. إن كانت الخطوة كبيرة جداً قفزت فوق الوادي، وإن كانت صغيرة جداً استغرق نزولك دهراً. إنه أكثر المعاملات الفائقة تأثيراً في تدريب الشبكات العصبية.

آلية العمل

في كل تكرار، يقوم الانحدار التدرّجي بتعديل أوزان النموذج $w$ في الاتجاه الذي يقلّل الخطأ. ويتحكّم معدل التعلّم في مقدار هذا التصحيح:

$$w_{t+1} = w_t - \eta \, \nabla L(w_t)$$

حيث $\nabla L$ هو تدرّج دالة الخسارة. التدرّج يحدّد الاتجاه، أما $\eta$ فيحدّد المسافة المقطوعة.

إيجاد التوازن

تتراوح القيم المعتادة بين $10^{-1}$ و $10^{-5}$ حسب البنية والمُحسِّن المستخدم.

جعله ديناميكياً

بدل تثبيت قيمة $\eta$، كثيراً ما يُجعل متغيّراً أثناء التدريب:

• التناقص (decay): خطوات كبيرة في البداية وصغيرة في النهاية للضبط الدقيق.
• الإحماء (warmup): بداية تدريجية لتثبيت التكرارات الأولى.
• المُحسِّنات التكيّفية (Adam, RMSprop): تضبط معدلاً فعّالاً لكل معامل.

اختيار معدل التعلّم الصحيح هو إيجاد الإيقاع المتوازن بين الجرأة التي تدفع نحو التقدّم والحذر الذي يضمن التقارب.