تخيّل وصفة طبخ يصل فيها كل مكوّن بوحدة مختلفة — غرامات، لترات، رشّات: من المستحيل ضبط المقادير بدقة. يقوم التطبيع بعكس ذلك تمامًا في التعلّم العميق: فهو يُعيد القيم المنتقلة داخل الشبكة العصبية إلى مقياس موحّد، حتى يكون التدريب مستقرًا وسريعًا وقابلًا للتكرار.
المبدأ الأساسي
داخل الشبكة، يمكن أن تأخذ التنشيطات (المخرجات الوسيطة للطبقات) سعات متفاوتة جدًا. وعندما يتغيّر توزيعها باستمرار أثناء التدريب، تضطر الطبقات اللاحقة إلى إعادة التكيّف دائمًا — وهو ما يُبطئ التقارب.
يُعيد التطبيع توسيط هذه القيم حول الصفر ويضبط تباينها ليصبح واحديًا. بالنسبة لمتجه تنشيطات $x$:
$$\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}$$
حيث $\mu$ هو المتوسط، و$\sigma^2$ التباين، و$\epsilon$ حدّ صغير يمنع القسمة على صفر. ثم يُطبَّق مُعاملان قابلان للتعلّم، غاما ($\gamma$) وبيتا ($\beta$)، ليحتفظ النموذج بحرية استعادة المقياس المفيد: $y_i = \gamma \hat{x}_i + \beta$.
أبرز الأنواع
| الطريقة | تُطبّع على | الاستخدام النموذجي |
|---|---|---|
| Batch Norm | دفعة الأمثلة | الرؤية، الشبكات الالتفافية |
| Layer Norm | سمات المثال الواحد | المحوّلات، معالجة اللغة |
| Group Norm | مجموعات القنوات | الدفعات الصغيرة، التجزئة |
لماذا أصبح أساسيًا
يتيح التطبيع استخدام معدّلات تعلّم أعلى، ويقلّل الحساسية تجاه التهيئة، ويضيف أثرًا تنظيميًا خفيفًا. ويقع Layer Normalization في صميم كل كتلة من كتل المحوّلات (Transformers)، البنية التي تقوم عليها نماذج اللغة الكبيرة الحالية.
التطبيع هو منح الشبكة أرضية مستوية: اضطراب أقل، وسرعة أكبر نحو الحلّ.