تخيّل قارئًا يتنقّل بين فصول رواية، يحتفظ في ذهنه باسم البطل الذي ظهر في الفصل الأول بينما يترك التفاصيل العابرة تتلاشى. هذا تحديدًا ما تفعله شبكة LSTM (الذاكرة الطويلة قصيرة المدى): نوع من الشبكات العصبية المتكرّرة (RNN) صُمّم للاحتفاظ بالمعلومات عبر التسلسلات الطويلة دون أن تضيع.
المشكلة التي تحلّها
تعاني الشبكات المتكرّرة التقليدية من تلاشي التدرّج: أثناء التدريب، تضعف إشارة الخطأ وهي تنتقل عبر الزمن، ما يجعل تذكّر الأحداث البعيدة مستحيلًا. أضافت شبكة LSTM، التي قدّمها هوكرايتر وشميدهوبر سنة 1997، خلية ذاكرة ($C_t$) تتدفّق دون تغيير يُذكر من خطوة زمنية إلى أخرى، أشبه بسير ناقل للمعلومات.
البوابات: قلب الآلية
تُنظّم شبكة LSTM ذاكرتها عبر ثلاث بوابات (gates)، وهي طبقات صغيرة يتراوح خرجها بين 0 و1 ويقرّر ما الذي يُسمح بمروره.
| البوابة | الدور |
|---|---|
| النسيان (forget) | ما الذي يجب محوه من الذاكرة؟ |
| الإدخال (input) | ما المعلومات الجديدة التي تُخزَّن؟ |
| الإخراج (output) | ما الذي يُكشَف في اللحظة الراهنة؟ |
تُحسب بوابة النسيان مثلًا على النحو الآتي:
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
حيث $\sigma$ هي الدالة السينية (sigmoid). تُحدَّث الخلية بعد ذلك: يُمحى جزء من الحالة القديمة، ثم تُضاف المعلومات الجديدة.
الاستخدامات والحدود
هيمنت شبكات LSTM طويلًا على الترجمة الآلية والتعرّف على الكلام والتنبّؤ بالسلاسل الزمنية. أمّا اليوم، فقد تفوّقت عليها المحوّلات (Transformers) إلى حدّ كبير في معالجة النصوص، لكنها تبقى مفيدة للبيانات التسلسلية الخفيفة والأنظمة المدمجة.
علّمت شبكة LSTM الآلاتِ مهارةً إنسانيةً جوهرية: معرفة ما يُحتفظ به وما يُنسى.