تخيّل مصحّحَين آليَّين يضعان درجة لورقة دون أن يقرآها فعلاً: فهما يكتفيان بعدّ عدد الكلمات والعبارات في النص الذي أنتجه الذكاء الاصطناعي والتي تظهر أيضاً في إجابة «نموذجية» كتبها إنسان. إنّ BLEU (Bilingual Evaluation Understudy) وROUGE (Recall-Oriented Understudy for Gisting Evaluation) هما هذان المقياسان، وقد أصبحا المعيارَين التاريخيَّين لتقييم الترجمة الآلية وتلخيص النصوص على التوالي.
المبدأ: عدّ المتتاليات (n-grams)
يعتمد المقياسان على المتتاليات النصية (تسلسلات من كلمة أو كلمتين أو ثلاث… متتالية) المشتركة بين النص المرشَّح ومرجع واحد أو أكثر. ويكمن الفرق في زاوية القياس:
- BLEU يقيس الدقة (precision): من بين الكلمات التي أنتجها الذكاء الاصطناعي، كم منها «صحيح»؟ ويضيف عقوبة الإيجاز (brevity penalty) لتثبيط الجُمل القصيرة جداً.
- ROUGE يقيس أساساً الاستدعاء (recall): من بين كلمات المرجع، كم نجح الذكاء الاصطناعي في إعادة إنتاجها؟ ومن هنا توجّهه نحو التلخيص، حيث يكون الخوف الأكبر من إغفال الجوهر.
$$\text{BLEU} = BP \cdot \exp!\left(\sum_{n=1}^{N} w_n \log p_n\right)$$
حيث $p_n$ هي دقة المتتاليات من الرتبة $n$، و$BP$ هي عقوبة الإيجاز.
مقارنة بين BLEU و ROUGE
| المعيار | BLEU | ROUGE |
|---|---|---|
| المهمة النموذجية | الترجمة | التلخيص |
| المحور الرئيسي | الدقة | الاستدعاء |
| الأنواع | — | ROUGE-N، ROUGE-L (أطول تسلسل مشترك) |
الحدود
لا «يفهم» هذان المقياسان المعنى: فالمرادف المثالي يُعاقَب، بينما قد تحصل جملة ركيكة نحوياً على درجة جيدة. ومع ذلك يبقيان سريعَين وقابلَين للتكرار وبلا تكلفة بشرية.
سريعان وموضوعيان، يقيس BLEU وROUGE التطابق السطحي — لا الفهم الحقيقي أبداً.