MORAIDICTIONNAIRE IA
Risques & Éthique

الهجوم العدائي

تعديل ضئيل غير مرئي للإنسان يخدع نموذج الذكاء الاصطناعي بالكامل.

تخيّل لافتة «قف» وُضعت عليها بضع ملصقات صغيرة غير ملحوظة: لا يزال الإنسان يقرأها «قف»، لكن السيارة ذاتية القيادة تراها «السرعة القصوى 90». هذا هو الهجوم العدائي: اضطراب ضئيل ومحسوب بعناية يدفع نموذج الذكاء الاصطناعي إلى ارتكاب خطأ بثقة عالية.

لماذا ينجح

تتعلّم الشبكة العصبية حدود قرار معقّدة في فضاء عالي الأبعاد. يستغل المهاجم التدرّج (gradient) لدالة الخسارة، فيُعدّل المُدخل في الاتجاه الذي يُعظّم الخطأ مع إبقاء التغيير غير محسوس. تُكتب الطريقة الكلاسيكية FGSM كالتالي:

$$x_{adv} = x + \epsilon \cdot \text{sign}\left(\nabla_x J(\theta, x, y)\right)$$

حيث يتحكّم $\epsilon$ في المقدار (الضئيل) للاضطراب. تبدو النتيجة مطابقة لأعيننا لكنها تتجاوز حدّ قرار النموذج.

أنواع الهجمات

المعيار الصندوق الأبيض الصندوق الأسود
الوصول للنموذج كامل (الأوزان، التدرّجات) المخرجات فقط
الصعوبة أسهل أصعب
مثال FGSM, PGD هجمات الاستعلام

كما نُميّز بين هجمات التهرّب (الخداع أثناء الاستدلال) وهجمات التسميم (إفساد بيانات التدريب).

كيفية الدفاع

لا يوجد دفاع مثالي؛ إنه سباق تسلّح دائم بين المهاجمين والمدافعين.

لا تُقاس سلامة الذكاء الاصطناعي بدقّته المتوسطة فحسب، بل بقدرته على الصمود أمام خصم يسعى فعلياً إلى خداعه.

استكشف قاموس الذكاء الاصطناعي →