يُعدّ التحسين المباشر للتفضيلات (DPO) طريقةً للمواءمة تُعلّم النموذج اللغوي تفضيل الإجابات «الجيدة» على «السيئة» مباشرةً، دون الحاجة إلى آلية التعلّم المعزَّز المعقّدة. فبينما يبني أسلوب RLHF التقليدي نموذج مكافأة أولاً ثم يحسّنه بخوارزمية مثل PPO، يعيد الـ DPO صياغة المسألة لتدريب النموذج اللغوي في خطوة واحدة، انطلاقاً من أزواج من الإجابات قارن بينها البشر.
الحدس الأساسي
الفكرة المؤسِّسة رياضية: نموذج المكافأة الأمثل في RLHF يمتلك صيغة مغلقة يمكن التعبير عنها مباشرةً بدلالة السياسة (النموذج) وسياسة مرجعية. وبذلك يمكن الاستغناء عن نموذج المكافأة الوسيط وتحسين دالة خسارة تصنيف بسيطة على التفضيلات.
لزوج مكوَّن من (إجابة مفضَّلة $y_w$ وإجابة مرفوضة $y_l$) أمام سؤال $x$، يُكتب الهدف كالتالي:
$$\mathcal{L}{\text{DPO}} = -\mathbb{E}\left[\log \sigma\left(\beta \log \frac{\pi\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right]$$
حيث $\pi_{\text{ref}}$ هو النموذج المرجعي (المجمَّد)، و$\beta$ يتحكّم في مقدار الانحراف المسموح به، و$\sigma$ هي الدالة السينية.
الـ DPO مقابل RLHF التقليدي
| المعيار | RLHF (PPO) | DPO |
|---|---|---|
| نموذج المكافأة | نعم، منفصل | لا |
| مراحل التدريب | متعددة | واحدة |
| الاستقرار | صعب الضبط | أكثر متانة |
| كلفة الحوسبة | مرتفعة | أقل |
لماذا يهمّ هذا
- البساطة: لا حاجة إلى حلقة تعلّم معزَّز يصعب تثبيتها.
- البيانات: يستغلّ مباشرةً مجموعات التفضيلات (الإجابة A مقابل B).
- الانتشار: يُستخدم على نطاق واسع لضبط النماذج مفتوحة المصدر.
يحوّل الـ DPO المواءمة، التي كانت حكراً على المختبرات الغنية بالموارد، إلى خطوة ضبط دقيق في متناول الجميع.