التحويل من النص إلى الفيديو

تخيّل أن تصف مشهدًا في جملة واحدة — «رائد فضاء يمتطي حصانًا فوق المريخ عند الغروب» — فتحصل على بضع ثوانٍ من فيديو متماسك. هذا هو وعد التحويل من النص إلى الفيديو (text-to-video): عائلة من النماذج التوليدية تحوّل وصفًا باللغة الطبيعية (الموجِّه أو prompt) إلى سلسلة معقولة من الإطارات المتحركة، دون كاميرا أو ممثل.

كيف يعمل

تعتمد أغلب الأنظمة الحديثة على نماذج الانتشار (diffusion models)، الممتدة من مجال الصورة إلى مجال الفيديو. الفكرة: تُدرَّب شبكة عصبية على إزالة الضجيج تدريجيًا من إشارة عشوائية في البداية حتى تتشكّل منها صورة متحركة، مع تكييف هذه العملية بالنص (عبر مُرمِّز مثل CLIP).

التحدي الأكبر ليس توليد إطار جميل واحد، بل ضمان الاتساق الزمني: يجب ألّا يغيّر الجسم لونه أو يختفي بين إطار وآخر. تعالج البنى الحديثة (غالبًا محوّلات الانتشار Diffusion Transformers) الفيديو كسلسلة من الرقع المكانية-الزمنية وتتعلّم الحركة عبر الزمن.

يمكن كتابة خطوة إزالة الضجيج التكرارية بصيغة مبسّطة:

$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}}\,\epsilon\theta(x_t, t, c)\right)$$

حيث $\epsilon_\theta$ هو الضجيج المتوقَّع، المكيَّف بالنص $c$.

الاستخدامات والحدود

يلغي التحويل من النص إلى الفيديو الحاجز بين الفكرة والصورة المتحركة، لكنه ينقل الصعوبة إلى إتقان الموجِّه والتحقق ممّا نشاهده فعلًا.