تخيّل طاهيًا متدرّبًا موهوبًا لكنه فاقد لحاسة التذوّق: يعرف ملايين الوصفات لكنه يجهل أيّها سيُعجب الزبائن حقًّا. إنّ RLHF (التعلّم المعزّز من التغذية الراجعة البشرية) هو المعلّم الذي يتذوّق أطباقه ويخبره أيّها يقدّم. إنها الطريقة التي حوّلت متنبّئات النصّ البسيطة مثل GPT إلى مساعدين مفيدين وصادقين وغير ضارّين.
مشكلة المواءمة
يتعلّم النموذج اللغوي الكبير بعد التدريب المسبق التنبّؤ بالكلمة التالية، لا أن يكون مفيدًا. فقد يولّد إجابات صحيحة تقنيًّا لكنها عديمة الفائدة أو خطيرة أو فظّة. يسدّ RLHF الفجوة بين «معرفة الكلام» و«حُسن الإجابة» عبر إدخال الحُكم البشري في عملية التدريب.
المراحل الثلاث
| المرحلة | الهدف | البيانات المستخدمة |
|---|---|---|
| 1. SFT | الضبط الدقيق المُشرَف على إجابات نموذجية | عروض بشرية |
| 2. نموذج المكافأة | تعلّم تقييم الإجابة | مقارنات (A أفضل من B) |
| 3. التحسين بالتعلّم المعزّز | تعظيم المكافأة | خوارزمية PPO |
في المرحلة الثانية، يرتّب المُعلّقون عدّة إجابات. يتعلّم نموذج المكافأة $r_\theta$ هذه التفضيلات، غالبًا عبر دالّة خسارة من نوع Bradley-Terry:
$$\mathcal{L}(\theta) = -\log \sigma\big(r_\theta(x, y_w) - r_\theta(x, y_l)\big)$$
حيث $y_w$ هي الإجابة المفضّلة و$y_l$ هي المرفوضة. في المرحلة الثالثة، يُحسَّن النموذج لتعظيم هذه المكافأة مع البقاء قريبًا من نسخته الأولية بفضل عقوبة تباعد KL.
المدى والحدود
يقف RLHF خلف ChatGPT وClaude وGemini. لكنه يعتمد على جودة المُعلّقين، وقد يحفّز التملّق (sycophancy)، وهو مكلِف. وتسعى بدائل مثل DPO (التحسين المباشر للتفضيلات) إلى الاستغناء عنه.
لا يجعل RLHF الذكاء الاصطناعي أذكى، بل يجعله أكثر مواءمةً لما نريده فعلًا.