تخيّل مكتب استشارات: عند ورود سؤال، لا تستدعي كل الخبراء المئة، بل اثنين أو ثلاثة فقط تتناسب خبرتهم مع المشكلة. هذا هو جوهر فكرة مزيج الخبراء (Mixture of Experts، MoE): بدلاً من تفعيل شبكة عصبية عملاقة كاملة لكل مدخل، نُفعّل جزءاً صغيراً فقط من الشبكات الفرعية المتخصصة التي تُسمّى الخبراء.
كيف تعمل
تستبدل كتلة MoE الطبقة الكثيفة التقليدية بمكوّنين:
- مجموعة من $N$ خبيراً (شبكات صغيرة مستقلة)؛
- موجِّه (gating network) يختار لكل رمز أكثر $k$ خبراء ملاءمةً (غالباً $k=1$ أو $k=2$).
ويكون الناتج مزيجاً مرجّحاً من الخبراء المختارين:
$$ y = \sum_{i \in \text{Top-}k} g_i(x)\, E_i(x) $$
حيث $g_i(x)$ هو الوزن الذي يمنحه الموجّه للخبير $E_i$. أما الخبراء غير المختارين فلا يحسبون شيئاً، وهذا ما يُعرف بـالتفعيل المتناثر (sparse activation).
لماذا هي قوية
| الشبكة الكثيفة | شبكة MoE |
|---|---|
| كل المعاملات نشطة | $k$ خبراء فقط نشطون |
| الحساب ∝ الحجم الكلي | الحساب شبه ثابت |
| مكلفة عند التوسّع | سعة هائلة بتكلفة محكومة |
يتيح هذا تدريب نماذج بـمئات المليارات من المعاملات مع إبقاء كلفة الحساب لكل رمز قريبة من نموذج أصغر بكثير. وهو ما تعتمد عليه عدة نماذج كبيرة حديثة (مثل Mixtral وبنى متقدمة من Google ومختبرات أخرى).
تحدّي التوازن
الخطر أن يعتاد الموجّه استدعاء الخبراء أنفسهم دائماً. لذلك تُضاف خسارة موازنة الحِمل (load balancing loss) لتوزيع العمل على جميع الخبراء.
يفصل MoE بين سعة النموذج وكلفة الاستدلال: تكبر دون أن تدفع الثمن كاملاً في كل مرة.