عندما يولّد النموذج اللغوي كلمةً، فإنه يحسب احتمالاً لكل رمز (token) ممكن في مفرداته. اختيار الأكثر احتمالاً دائماً يجعل النص رتيباً ومكرراً، بينما الاختيار العشوائي الكامل يجعله غير متماسك. يُعدّ Top-k وTop-p مُرشِّحَين لأخذ العينات يرسمان الحدّ بين ما هو مسموح وما يُستبعَد في كل خطوة.
طريقتان لتقليص القائمة
يحتفظ Top-k بـأكثر k رمزاً احتمالاً فقط، ثم يُعيد التطبيع ويختار من بينها عشوائياً. بسيط لكنه جامد: إذا هيمنت كلمة واحدة بوضوح، نحتفظ مع ذلك بـ k مرشحاً؛ وإذا كان التوزيع مسطحاً، فقد نستبعد خيارات جيدة.
أما Top-p (أو nucleus sampling) فهو تكيّفي: يحتفظ بـأصغر مجموعة من الرموز يبلغ احتمالها التراكمي p. نحتفظ بالمجموعة الدنيا $V^{(p)}$ بحيث:
$$\sum_{x \in V^{(p)}} P(x) \geq p$$
وهكذا يتغيّر حجم النواة بحسب السياق: واسعة حين يتردّد النموذج، ضيّقة حين يكون واثقاً.
مقارنة
| المعيار | Top-k | Top-p |
|---|---|---|
| العتبة | عدد ثابت (k) | كتلة احتمالية (p) |
| حجم المجموعة | ثابت | متغيّر وتكيّفي |
| القيم المعتادة | k = 40 | p = 0.9 |
| نقطة الضعف | يتجاهل شكل التوزيع | حساس للأذيال الطويلة |
في الممارسة
غالباً ما يُدمَج هذان المُرشِّحان مع درجة الحرارة (temperature) التي تُسطِّح الاحتمالات أو تُحدّها قبل أخذ العينات. وكثيراً ما يُطبَّقان معاً: Top-k أولاً ثم Top-p على المجموعة الفرعية المتبقية. القيمة المنخفضة تُرجّح الموثوقية (الإجابات الواقعية)، والقيمة المرتفعة تُرجّح الإبداع (الكتابة والعصف الذهني).
يقطع Top-k بالعدد، ويقطع Top-p بالثقة: هما المِقبَضان اللذان يضبطان مدى جرأة النموذج.