معيار القياس (Benchmark)

معيار القياس (Benchmark) بالنسبة للذكاء الاصطناعي هو كالامتحان الموحّد بالنسبة للطلاب: اختبار واحد للجميع، مُصمَّم للمقارنة الموضوعية بين أداء النماذج المختلفة في مهمة محددة بدقة. فمن دون معيار قياس، يبقى القول إن نموذجاً «أفضل» من آخر مجرد رأي؛ أما معه، فنحصل على رقم قابل للتكرار والتحقق.

مكوّنات معيار القياس

يجمع المعيار بين ثلاثة عناصر:

• مجموعة بيانات للتقييم (أسئلة، صور، مسائل)؛
• مهمة محددة (تصنيف، ترجمة، إجابة، استدلال)؛
• مقياس يحوّل الإجابات إلى نتيجة رقمية.

ويختلف المقياس حسب المهمة: الدقة (Accuracy) في التصنيف، أو درجة F1، أو BLEU في الترجمة، أو نسبة النجاح. وتُحسب الدقة ببساطة:

$$\text{Accuracy} = \frac{\text{التنبؤات الصحيحة}}{\text{العدد الكلي للأمثلة}}$$

أمثلة شهيرة

نقاط القوة والحدود

تُنظّم معايير القياس مسار التقدّم، إذ تمنح البحث العلمي هدفاً مشتركاً. لكن لها وجهاً آخر. فـتلوّث البيانات (أن يكون النموذج قد رأى الاختبار مسبقاً أثناء تدريبه) يضخّم النتائج بشكل مصطنع. كما أن التحسين من أجل معيار بعينه قد يبتعد عن الاستخدام الواقعي — وهذا ما يُعرف بقانون غودهارت: «حين يصبح المقياس هدفاً، يتوقف عن كونه مقياساً جيداً».

يقيس المعيار ما يعرف قياسه فقط، لا الذكاء في مجمله: إنه بوصلة لا خريطة كاملة للأرض.