تحويل النص إلى صورة

تحويل النص إلى صورة (text-to-image) هو عائلة من نماذج الذكاء الاصطناعي التوليدي القادرة على إنتاج صورة جديدة تمامًا انطلاقًا من وصف بلغة طبيعية يُسمّى المُوجِّه (prompt). تخيّل رسّامًا لم يرَ فكرتك قطّ، لكنه يرسمها فورًا اعتمادًا على كلماتك وحدها: هذا بالضبط ما تفعله أنظمة مثل DALL·E وMidjourney وStable Diffusion.

كيف يربط النموذج الكلمات بالبكسلات

التحدّي الجوهري هو المواءمة بين عالمين: النص والصورة. تتعلّم النماذج هذه المواءمة من مجموعات بيانات ضخمة من أزواج (صورة، تعليق). يقوم مُرمِّز نصّي (مستوحى غالبًا من CLIP) بترجمة الموجِّه إلى متجه دلالي يوجّه عملية التوليد البصري. النموذج لا «ينسخ» صورًا موجودة، بل يأخذ عيّنة صورة جديدة من الفضاء الذي تعلّمه.

آلية الانتشار

تعتمد معظم الأنظمة الحديثة على الانتشار (diffusion). الفكرة: تعلّم إزالة الضوضاء. أثناء التدريب، تُضاف ضوضاء غاوسية تدريجيًا إلى الصورة، فتتعلّم الشبكة عكس هذه العملية. وعند التوليد، تنطلق من ضوضاء خالصة وتزيلها خطوة بخطوة مشروطةً بالنص.

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}}\,\epsilon\theta(x_t, t, c)\right)$$

حيث $c$ هو الشرط النصّي و$\epsilon_\theta$ الضوضاء المُتوقَّعة.

عائلات المقاربات

يجعل تحويل النص إلى صورة الإبداع البصري سهلًا كتأليف جملة، لكنه يطرح أسئلة ملحّة حول حقوق المؤلّف والتحيّز والتضليل.