تخيّل فريقًا يُطلب فيه عشوائيًا، في كل اجتماع، من بضعة أعضاء أن يلتزموا الصمت: عندئذٍ يتعيّن على البقية أن يتعلّموا العمل دون الاعتماد على زميل واحد لا غنى عنه. هذه بالضبط فكرة الإسقاط العشوائي (Dropout)، وهي تقنية تنظيم (regularization) قدّمها سريفاستافا وهينتون وزملاؤهما عام 2014. فأثناء التدريب، يُعطَّل جزء من الخلايا العصبية عشوائيًا في كل تمريرة، مما يجبر الشبكة على عدم الاتكاء بإفراط على بضع وصلات.
لماذا تنجح هذه التقنية
تميل الشبكات العصبية العميقة إلى فرط التخصيص (overfitting): فهي تحفظ ضجيج بيانات التدريب بدلًا من تعلّم الأنماط العامة. وبقطع الخلايا عشوائيًا، يمنع الإسقاط العشوائي ظاهرة التكيّف المشترك (co-adaptation)، أي أن الخلايا لم تعد قادرة على الاعتماد بعضها على بعض عبر تركيبات هشّة. والنتيجة أشبه بتدريب ضمني لـتجميعة (ensemble) من شبكات أصغر تُحسب توقّعاتها كمعدّل.
كيف يُحسب
تُربط بكل خلية عصبية احتمالية $p$ لكونها محتفَظًا بها. نسحب قناعًا ثنائيًا $r_j \sim \text{Bernoulli}(p)$ ونحسب:
$$\tilde{y}_j = \frac{r_j}{p} \cdot y_j$$
والقسمة على $p$ (inverted dropout) تُبقي القيمة المتوقَّعة للتنشيطات مستقرة، بحيث لا حاجة لأي تعديل عند الاستدلال.
التدريب مقابل الاستدلال
| المرحلة | السلوك |
|---|---|
| التدريب | إطفاء عشوائي للخلايا (بمعدّل 0.2–0.5) |
| الاستدلال | كل الخلايا نشطة، دون أي قطع |
ما زال الإسقاط العشوائي شائعًا في الطبقات الكثيفة وفي محوّلات Transformer، رغم أن التطبيع بالدُّفعات (batch normalization) ينافسه أحيانًا في الشبكات الالتفافية.
إطفاء الخلايا عشوائيًا يُعلّم الشبكة التواضع: ألّا تعتمد أبدًا على خليّة واحدة.