النسيان الكارثي

تخيّل طالبًا يتعلّم الإسبانية، فيمحو فجأة من ذاكرته كل ما أتقنه من الفرنسية. هذا بالضبط ما يحدث للشبكات العصبية: يشير النسيان الكارثي (أو التداخل الكارثي) إلى ميل النموذج إلى فقدان المهارات المكتسبة في المهام السابقة بشكل مفاجئ عند تدريبه على بيانات جديدة.

لماذا يحدث ذلك

تُخزّن الشبكة كل معرفتها في مجموعة واحدة مشتركة من الأوزان. وعند تدريبها على مهمة جديدة، يضبط الانحدار التدرّجي هذه الأوزان لتقليل الخسارة الجديدة فقط، دون أي ذاكرة للقديمة. فتُمحى المعاملات التي كانت تُرمّز المهمة السابقة.

رسميًّا، في الخطوة $t$ نُقلّل فقط:

$$\theta^* = \arg\min_\theta \; \mathcal{L}_{\text{new}}(\theta)$$

في حين نرغب في الحفاظ أيضًا على $\mathcal{L}_{\text{old}}(\theta)$. وبدون أي قيد، لا شيء يحمي المعرفة القديمة.

كيف نخفّف منه

توجد عدة عائلات من الاستراتيجيات في التعلّم المستمر (continual learning):

• يضيف التنظيم حدًّا "يُجمّد" بلطف الأوزان الحرجة.
• يقع الضبط الدقيق (fine-tuning) لنموذج لغوي كبير ضحيةً متكررة لهذه الظاهرة: فالضبط المفرط في حدّته يُضعف القدرات العامة الأصلية للنموذج.

يبقى التعلّم دون نسيان أحد أكبر التحديات المفتوحة في الذكاء الاصطناعي: التوازن بين المرونة (تعلّم الجديد) والاستقرار (الاحتفاظ بالقديم).