تخيّل قارئاً لا يشبع، التهم جزءاً هائلاً من النصوص البشرية، وهو في كل لحظة يلعب لعبة تخمين الكلمة التالية. هذا هو جوهر GPT — أي المحوّل التوليدي المُدرَّب مسبقاً (Generative Pre-trained Transformer). قدّمته شركة OpenAI ابتداءً من عام 2018، وأصبح اليوم قلب المساعدات الحوارية مثل ChatGPT.
تفكيك المصطلح
كل كلمة تروي جزءاً من القصة:
- توليدي (Generative): ينتج النموذج نصاً جديداً، رمزاً تلو الآخر، بدل الاكتفاء بالتصنيف.
- مُدرَّب مسبقاً (Pre-trained): يُدرَّب أولاً على نصوص ضخمة بأسلوب ذاتي الإشراف، قبل أي ضبط دقيق.
- محوّل (Transformer): البنية الأساسية التي ظهرت عام 2017، والقائمة على آلية الانتباه (attention).
كيف يتعلّم
هدف التدريب بسيط بشكل خادع: التنبؤ بالرمز التالي اعتماداً على الرموز السابقة. يتعلّم النموذج تعظيم احتمال التسلسل المُلاحَظ:
$$P(x_1, x_2, \dots, x_n) = \prod_{t=1}^{n} P(x_t \mid x_1, \dots, x_{t-1})$$
تُجبر هذه المهمة المسمّاة الانحدار الذاتي الشبكةَ على التقاط القواعد والحقائق والاستدلال الضمني. وتتيح آلية الانتباه لكل كلمة أن «تنظر» إلى بقية الكلمات لتقدير أهميتها السياقية.
من التدريب المسبق إلى المساعد
النموذج الخام يُكمل النص فحسب؛ ولا يصبح نافعاً إلا بعد عدة مراحل:
| المرحلة | الهدف |
|---|---|
| التدريب المسبق | تعلّم اللغة والعالم |
| الضبط الدقيق المُشرَف | اتّباع التعليمات |
| RLHF | المواءمة مع تفضيلات البشر |
لا «يفهم» الـ GPT كما يفهم الإنسان: بل يَنمذِج احتمالات اللغة بدقة بالغة حتى يغدو وهمُ الفهم مفيداً على نحو لافت.