تخيّل نافذة السياق كأنها «مكتب العمل» لنموذج لغوي: إنها مجموع المعلومات التي يستطيع النموذج قراءتها والاحتفاظ بها في ذهنه في الوقت نفسه لإنتاج إجابته. وكل ما يسقط خارج هذا المكتب لا يعود النموذج «يراه».
ماذا تحتوي فعلاً
تُقاس نافذة السياق بـ الرموز (tokens) — وهي أجزاء من الكلمات (الكلمة الواحدة ≈ 1.3 رمز في المتوسط). وهي تشمل التبادل بأكمله: تعليمات النظام (system prompt)، وسجل المحادثة، والمستندات الملصقة، وسؤالك الحالي و الإجابة الجاري توليدها.
$$ n_{\text{tokens}} = n_{\text{prompt}} + n_{\text{history}} + n_{\text{response}} \le L_{\max} $$
وعند بلوغ الحد الأقصى $L_{\max}$، تُقتطع أقدم الرسائل أو يُرفض الإدخال.
مراتب الحجم
| جيل النموذج | الحجم المعتاد | المعادل التقريبي |
|---|---|---|
| نماذج GPT الأولى | 2,000 – 4,000 رمز | بضع صفحات |
| النماذج الحديثة | 128,000 رمز | تقرير طويل |
| نماذج «المدى الطويل» | 1,000,000 رمز | عدة كتب |
لماذا ليست لا نهائية
تكلفة آلية الانتباه (attention) في المحوّلات (Transformers) تنمو بشكل تربيعي مع طول التسلسل:
$$ \text{cost} \propto n^2 $$
لذا فإن مضاعفة السياق تضاعف الحوسبة والذاكرة المطلوبتين أربع مرات. ومن هنا تنشأ موازنة دائمة بين المدى والسرعة والتكلفة. كما أن السياق الطويل جداً لا يضمن حُسن استثماره: فقد «تضيع» على النماذج المعلومات الواقعة في وسط نص مطوّل.
نافذة سياق كبيرة تعني ذاكرة عاملة أوسع — لكن حُسن ملئها يظل فنّاً بقدر ما هو قيد تقني.