تخيّل متنزّهًا تائهًا في الضباب يحاول الوصول إلى قاع الوادي بأسرع ما يمكن: في كل خطوة يتحسّس انحدار الأرض تحت قدميه ويتقدّم في الاتجاه الأكثر هبوطًا. المُحَسِّن هو تمامًا ذلك المتنزّه؛ إنه الخوارزمية التي تضبط أوزان الشبكة العصبية، خطوةً بخطوة، لتقليل دالة الخسارة (خطأ النموذج).
المبدأ الأساسي: الانحدار التدرّجي
يعتمد المُحَسِّن على التدرّج (gradient)، أي مشتقّة الخسارة بالنسبة لكل وزن — وهو «الميل» الرياضي. وأبسط قاعدة للتحديث، الانحدار التدرّجي العشوائي (SGD)، تُكتب:
$$\theta_{t+1} = \theta_t - \eta \nabla_\theta L(\theta_t)$$
حيث يمثّل $\theta$ الأوزان، و$\eta$ معدّل التعلّم (حجم الخطوة)، و$\nabla_\theta L$ التدرّج. الخطوة الكبيرة جدًّا تجعل التدريب يتباعد، والصغيرة جدًّا تجعله بلا نهاية.
العائلات الكبرى
تضيف المُحَسِّنات الحديثة ذاكرةً وتُكيّف حجم الخطوة لكل معامل.
| المُحَسِّن | الفكرة الأساسية | الميزة |
|---|---|---|
| SGD | خطوة ثابتة | بسيط ومتين |
| Momentum | يراكم السرعة | يعبر الهضاب |
| RMSProp | خطوة متكيّفة لكل وزن | يدير المقاييس |
| Adam | زخم + تكيّف | المعيار الافتراضي |
يجمع Adam (كينغما وبا، 2014) بين زخم الـMomentum وتكيّف الـRMSProp؛ وهو اليوم الخيار الافتراضي لتدريب معظم النماذج الكبيرة.
بدون مُحَسِّن، لن تكون الشبكة سوى صندوق من الأرقام الجامدة: فهو ما يحوّل الخطأ إلى تعلّم.