تقطير المعرفة

تقطير المعرفة (Knowledge Distillation) هو أسلوب لتدريب نموذج صغير، يُسمّى الطالب، على محاكاة نموذج كبير عالي الأداء، يُسمّى المعلّم. تخيّل تلميذًا نبيهًا لا يحفظ الإجابات الصحيحة من الكتاب فحسب، بل يتعلّم طريقة تفكير أستاذه: فيصبح بارعًا تقريبًا بقدره، لكنه صغير بما يكفي ليوضع في جيبك.

الفكرة الجوهرية: التعلّم من «التسميات اللينة»

بدلًا من تدريب الطالب على التسميات الصارمة فقط (القطة = 1 وما عداها = 0)، نُدرّبه على إعادة إنتاج توزيع الاحتمالات الكامل الذي ينتجه المعلّم، أي التسميات اللينة. تحمل هذه التوزيعات معلومات ثمينة: المعلّم يعرف أن كلب الهاسكي يشبه الذئب إلى حدٍّ ما. هذه المعرفة الدقيقة هي ما يُنقَل.

تُلطَّف المخرجات عبر درجة الحرارة $T$ في دالة softmax:

$$ p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$

كلما ارتفعت قيمة $T$، نَعُمَ التوزيع وأظهر أوجه التشابه بين الفئات. وتجمع دالة الخسارة بين محاكاة المعلّم والحقيقة الأصلية:

$$ \mathcal{L} = \alpha \, \mathcal{L}{\text{soft}} + (1-\alpha)\, \mathcal{L} $$}

المعلّم في مقابل الطالب

لماذا هو مفيد

• نماذج سريعة وخفيفة للهواتف والأجهزة المتصلة.
• خفض كلفة الاستدلال واستهلاك الطاقة.
• أساس كثير من النماذج المُدمجة الحديثة (عائلات «المُقطَّرة»).

التقطير هو الاحتفاظ بجوهر معرفة العملاق في صيغة يستطيع الجميع استخدامها.