النموذج الانحداري الذاتي

تخيّل راويًا يكتب قصته كلمة بعد كلمة، دون أن يعرف نهايتها مسبقًا: كل كلمة يضعها تعتمد كليًا على كل ما سبقها. هذا بالضبط هو مبدأ النموذج الانحداري الذاتي. فهو يولّد البيانات (نصًا أو صوتًا أو صورة) عنصرًا تلو الآخر، معيدًا في كل خطوة إدخال ما أنتجه للتو كي يتنبأ بالعنصر التالي.

المبدأ: التنبؤ بالعنصر التالي

يفكّك النموذج الانحداري الذاتي احتمال المتتالية الكاملة إلى جداء من الاحتمالات الشرطية. لمتتالية من الرموز $x_1, x_2, \dots, x_T$:

$$P(x_1, \dots, x_T) = \prod_{t=1}^{T} P(x_t \mid x_1, \dots, x_{t-1})$$

أي أن النموذج لا يتعلّم سوى الإجابة عن سؤال واحد: «بالنظر إلى كل ما سبق، ما هو العنصر الأكثر احتمالًا الآن؟». ولذلك يكون التوليد تسلسليًا: نُنتج رمزًا، نضيفه إلى السياق، ثم نعيد الكَرّة.

لماذا هو جوهري لنماذج اللغة الكبيرة

هكذا تعمل تمامًا نماذج اللغة الكبيرة مثل عائلة GPT. فهي أثناء التوليد لا «ترى» الجملة كاملةً دفعةً واحدة، بل تبنيها رمزًا تلو الآخر. هذه الآلية البسيطة، حين تُدرَّب على مدوّنات ضخمة، تُنبثق منها قدرات على الاستدلال والترجمة والكتابة.

أما الثمن فهو أن التوليد بطيء (مرور واحد لكل رمز)، وأن خطأً مبكرًا قد ينتشر في بقية المخرجات.

أن تولّد يعني أن تتنبأ بالمستقبل القريب انطلاقًا من الماضي — رمزًا واحدًا في كل مرة.