الحَيْرة (Perplexity)

تخيّل نموذج اللغة كلاعب يراهن على الكلمة التالية في جملة ما. تقيس الحَيْرة (Perplexity) درجة "تردّده": فكلّما كان النموذج أكثر ثقة ودقّة، انخفضت قيمة الحَيْرة. وهي من أقدم المقاييس وأكثرها استخدامًا لتقييم نماذج اللغة.

الحَدْس

تُحدِّد الحَيْرة "عامل المفاجأة" لدى النموذج عند مواجهته نصًّا. فقيمة حَيْرة تساوي 10 تعني أنّ النموذج، عند كل كلمة، يتردّد في المتوسط كما لو كان عليه الاختيار بين 10 احتمالات متساوية. وكلّما صغُر هذا الرقم، كان تنبؤ النموذج باللغة الحقيقية أفضل.

وهي مشتقّة مباشرةً من الإنتروبيا المتقاطعة (cross-entropy)، إذ تمثّل دالتها الأُسّية.

الصيغة

لمتتالية كلمات $w_1, \dots, w_N$، تُكتب الحَيْرة كالتالي:

$$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_1, \dots, w_{i-1})\right)$$

حيث $p(w_i \mid \dots)$ هو الاحتمال الذي يمنحه النموذج للكلمة $w_i$ بناءً على السياق السابق.

المزايا والحدود

• حَيْرة منخفضة = نموذج أكثر ثقة في تنبؤاته.
• لا تصحّ مقارنتها إلّا ضمن مفردات ومدوّنة متطابقة.

تُخبرك الحَيْرة إن كان النموذج يُتقن اللغة — لا إن كان يقول الحقيقة.