المُرمِّز-المُفكِّك (Encoder-Decoder)

تخيّل مترجماً فورياً في مؤتمر: يستمع أولاً إلى جملة كاملة، ثم يكثّفها ذهنياً في فكرة واحدة، ثم يعيد صياغتها بلغة أخرى. هذا تماماً هو مبدأ بنية المُرمِّز-المُفكِّك (Encoder-Decoder)، وهي مخطط أساسي في التعلّم العميق لتحويل تسلسل مُدخَل إلى تسلسل مُخرَج بطول مختلف.

وحدتان وجسر واحد

تنقسم هذه البنية إلى كتلتين متكاملتين:

• المُرمِّز (Encoder) يقرأ تسلسل المُدخَل (كلمات، بكسلات، عيّنات صوتية) ويضغطه في تمثيل داخلي كثيف يُسمّى متّجه السياق (context vector) أو الحالة الكامنة.
• المُفكِّك (Decoder) ينطلق من هذا التمثيل ويولّد تسلسل المُخرَج عنصراً تلو الآخر، معتمداً على ما أنتجه سابقاً.

يمكن تلخيص التدفّق كالتالي:

$$ \mathbf{c} = f_{\text{enc}}(x_1, \dots, x_n) \qquad y_t = f_{\text{dec}}(\mathbf{c},\, y_1, \dots, y_{t-1}) $$

ثورة الانتباه

كانت النسخ الأولى (RNN/LSTM) تضغط المُدخَل بأكمله في متّجه واحد، ما يخلق عنق زجاجة مع التسلسلات الطويلة. جاءت آلية الانتباه (Attention) لإزالة هذا القيد: في كل خطوة توليد، يعود المُفكِّك إلى جميع حالات المُرمِّز ويرجّح المهمّ منها. هذه الفكرة بالذات أنجبت معماريّة المحوّلات (Transformer) عام 2017.

ثلاث عائلات رئيسية

تشغّل هذه البنية الترجمة الآلية، وتلخيص النصوص، والتعرّف على الكلام، ووصف الصور.

الفهم أولاً ثم الإنتاج: المُرمِّز-المُفكِّك هو العمود الفقري لتحويل التسلسلات.