تخيّل لجنة تحكيم عليها أن توزّع 100% من ثقتها بين عدّة مرشّحين: لا يُهمَل أحد، لكنّ المرشّح المفضّل ينال الحصّة الأكبر. هذا هو بالضبط دور دالة Softmax. فهي تأخذ قائمة من الدرجات الخام (تُسمّى logits) — التي قد تكون سالبة أو موجبة، كبيرة أو صغيرة — وتحوّلها إلى توزيع احتمالي: قيم بين 0 و1 يكون مجموعها مساوياً تماماً للواحد.
الصيغة الرياضية
بالنسبة لمتجّه الدرجات $z = (z_1, \dots, z_n)$، يكون احتمال الصنف $i$ هو:
$$\text{softmax}(z)i = \frac{e^{z_i}}{\sum$$}^{n} e^{z_j}
تؤدّي الدالة الأسّية دورين: فهي تجعل كلّ القيم موجبة، كما أنّها تضخّم الفوارق. فالدرجة الأكبر قليلاً من غيرها تتحوّل إلى احتمال مهيمن بوضوح — ومن هنا جاء الاسم «soft-max»، أي نسخة ملطّفة من القيمة العظمى الصارمة.
لماذا لا نكتفي بأخذ القيمة العظمى؟
| الطريقة | المُخرَج | قابلة للاشتقاق؟ |
|---|---|---|
| argmax (الحدّ الأقصى الصارم) | فائز واحد فقط (1 / 0) | لا |
| Softmax | احتمالات متدرّجة | نعم |
هذه القابلية للاشتقاق أمر جوهري: فهي تتيح الانتشار العكسي للتدرّج أثناء التدريب. وتُقرَن دالة Softmax غالباً بدالة الخسارة الإنتروبيا المتقاطعة (cross-entropy).
أين نصادفها؟
- في طبقة الخرج لمصنّفات متعدّدة الأصناف.
- في صميم آلية الانتباه (attention) في نماذج Transformer، حيث تُرجّح الأهمّية النسبية لكلّ كلمة.
- مع معامل الحرارة $T$: قسمة الدرجات على $T$ تجعل التوزيع أكثر «حِدّة» (قيمة T صغيرة) أو أكثر تجانساً (قيمة T كبيرة)، ممّا يتحكّم في إبداعية النموذج التوليدي.
دالة Softmax هي المترجم الكوني بين اللغة الداخلية للشبكات — أي الدرجات الاعتباطية — ولغة الاحتمالات، الواضحة والقابلة للاستخدام.