تخيّل سُلّمًا يمكنك عند كل منبسط منه إمّا أن تصعد الدرجات، وإمّا أن تنزلق عبر مزلقٍ يوصلك مباشرةً إلى المنبسط التالي. الوصلة المتبقية (أو وصلة التخطّي) هي ذلك المزلق: فهي تضيف مُدخل الطبقة مباشرةً إلى مُخرجها، ممّا يتيح للمعلومة الالتفاف حول التحويلات الوسيطة. ظهرت سنة 2015 مع معمارية ResNet (He وزملاؤه)، فجعلت تدريب شبكات تضمّ مئات الطبقات أمرًا ممكنًا.
المبدأ الرياضي
بدل أن نطلب من كتلة من الطبقات تعلّم الدالة الهدف $H(x)$ مباشرةً، نطلب منها تعلّم المتبقّي $F(x) = H(x) - x$ فقط. فيصبح المُخرَج:
$$ y = F(x) + x $$
الحدّ $+x$ هو دالة الهُويّة: إذا كان التحويل الأمثل هو «ألّا تفعل شيئًا»، فإنّ الشبكة تحتاج فقط إلى دفع $F(x)$ نحو الصفر، وهو أيسر بكثير من تعلّم الهُويّة انطلاقًا من طبقات غير خطّية.
لماذا هي حاسمة
من دون اختصار، يضعف التدرّج (gradient) أثناء انتشاره عبر طبقات كثيرة، وهي مشكلة تلاشي التدرّج. تنشئ الوصلة المتبقية «طريقًا سريعًا» يتدفّق عبره التدرّج دون اضمحلال أثناء الانتشار العكسي.
| من دون وصلة متبقية | مع وصلة متبقية |
|---|---|
| تلاشي التدرّج مع العمق | الحفاظ على تدفّق التدرّج |
| تدهور الدقّة بعد نحو 20 طبقة | إمكان تدريب شبكات بـ100 طبقة فأكثر |
| صعوبة تعلّم الهُويّة | الهُويّة «مجّانية» افتراضيًا |
اليوم يوجد هذا المبدأ في كلّ مكان: فهو في صميم المحوّلات (Transformers) — إذ تُحاط كلّ طبقة فرعية للانتباه والتغذية الأمامية بوصلة متبقية — ومن ثمّ في نماذج مثل GPT والنماذج اللغوية الكبيرة الحديثة.
تعلّم الفرق بدل الكلّ: تلك هي الفكرة البسيطة التي فتحت باب العمق.