لا «يقرأ» النموذج اللغوي الكلمات أو الحروف، بل يتعامل مع الرموز (tokens)، وهي وحدات نصية صغيرة تُحوَّل إلى أرقام. أما الترميز (tokenization) فهو الخطوة التي تُقسِّم الجملة إلى هذه الأجزاء، تماماً كما نُقطِّع نصاً إلى لبنات «ليغو» قابلة لإعادة الاستخدام تعرف الآلة كيف ترصّها.
ما هو الرمز (Token)؟
الرمز هو الوحدة الذرّية التي يعالجها النموذج. وبحسب الطريقة المُتّبعة، قد يكون كلمة كاملة، أو جزءاً من كلمة (كلمة فرعية)، أو حرفاً، أو علامة ترقيم. تعتمد النماذج الحديثة (GPT، Llama، Gemini) غالباً على الترميز بالكلمات الفرعية، عبر خوارزميات مثل Byte Pair Encoding (BPE) أو WordPiece. والفائدة: تمثيل مفردات ضخمة بعدد محدود من الرموز، مع القدرة على معالجة الكلمات النادرة أو المبتكَرة.
فمثلاً، قد تُقسَّم كلمة "tokenization" إلى token + ization. ثم يُمنَح كل رمز معرّفاً رقمياً صحيحاً، يليه متّجه (embedding).
لماذا هو مهم
- الكلفة وحدّ السياق: تُحتسَب فوترة واجهات البرمجة ونافذة السياق بالرموز لا بالكلمات.
- اللغات: غالباً ما تستهلك العربية أو الصينية رموزاً أكثر للكلمة الواحدة مقارنةً بالإنجليزية.
- الأداء: التقسيم الجيّد يقلّل طول التسلسلات التي تجب معالجتها.
| النص | الرموز التقريبية |
|---|---|
| كلمة إنجليزية شائعة واحدة | ~1.3 رمز |
| كلمة فرنسية واحدة | ~1.5–2 رمز |
| 100 كلمة | ~130–150 رمزاً |
قاعدة تقريبية شائعة في الإنجليزية: رمز واحد ≈ 4 أحرف، أي تقريباً:
$$ N_{tokens} \approx \frac{N_{caracteres}}{4} $$
فهم الترميز هو فهم اللغة الأم الحقيقية للنموذج اللغوي: ليست الكلمات، بل الرموز.