نصّ الفيديو الذي ولّدته على الأرجح ليس مغلوطًا إملائيًا — أنت صوّرته في منتصف الحركة

النصيحة القياسية بشأن النصّ في فيديو الذكاء الاصطناعي هي ألّا تولّده. أخرِج المقطع صامتًا، وخذه إلى برنامج مونتاج، واضبط الحروف بنفسك. وكل دليل في الصفحة الأولى من Google يقول صيغة ما من هذا، وكلهم يعطون السبب نفسه: نماذج الفيديو ترسم الحروف بوصفها نسيجًا لا بوصفها رموزًا، فتنزاح الكتابة وتخرج مغلوطة من إطار إلى إطار.

ذهبت أفحص ذلك على MiniMax H3 فوجدت شيئًا تفوته تلك النصيحة.

سحبت ستة مقاطع مثال منشورة ومشيت فيها إطارًا إطارًا. وبينها 22 قطعة نصّ على الشاشة طلبها البرومبت بالاسم. وحين تتوقّف كل واحدة منها عن الحركة، تكون الاثنتان والعشرون كلها مكتوبة إملائيًا بصورة صحيحة — ومنها قائمة لعبة، وقائمة عتاد، وبطاقة عنوان من سطرين بعنوان فرعي.

والمقاطع نفسها تحوي كذلك قدرًا كبيرًا من النصّ الذي هو هراء تام — وفي اثنين منها نصًّا لم يطلبه أحد، كتبه النموذج بنفسه، وكتبه إملائيًا بصورة صحيحة في كل مرة ظهر فيها. وفرز السبب يساوي أكثر من العنوان، لأنه يخبرك أي لقطاتك أنت آمنة.

كيف يبدو إطار MiniMax H3 المشوَّه فعلًا

هذه لوحة قائمة واحدة من المقطع نفسه، بينهما نصف ثانية. الإطار العلوي عند 2.458 ثانية، والسفلي عند 2.958 ثانية:

الإطار العلوي هو لقطة الشاشة التي تُنشر مع تعليق عن عجز الذكاء الاصطناعي عن الإملاء. فالصفّ الثاني نسخة ملطّخة نصف مكتملة من الصفّ الذي فوقه. يبدو معطوبًا لأنه معطوب فعلًا — نحو أربعة أعشار الثانية، بينما تكتب اللوحة صفّها الثاني.

ثم يستقرّ على CHRONOS CLAW ويبقى كذلك.

عددت الإطارات. تصل اللوحة عند الإطار 56 وتغادر عند الإطار 103. والصفّ الثاني غير مقروء من الإطار 56 إلى 65، ونظيف من الإطار 68 فصاعدًا. وعند 24 إطارًا في الثانية تكون تلك نافذة 0.4 ثانية داخل ثانيتين من اللوحة — أي نحو خُمس زمنها على الشاشة يبدو فشلًا إملائيًا وليس كذلك.

وهذا يهمّ أكثر ممّا يبدو، لأن الخُمس ليس الاحتمال الحقيقي لأن تقع عليه. فحين تسحب رأس التشغيل تتوقّف حيث يجري شيء ما، والإطارات التي يجري فيها شيء هي بالضبط الإطارات التي لم تستقرّ فيها الحروف. فالتمرير منحاز نحو العيب.

فالقاعدة الأولى إجرائية لا إبداعية. احكم على الحروف من إطار لا يتحرّك فيه شيء. وحين تسحب صورة مصغّرة، اسحبها بعد أن تقفل البطاقة، وإلا شحنت العيب بنفسك ثم صوّرك أحدهم.

سمِّ سلسلةً يكتبها MiniMax H3 إملائيًا

والآن الاكتشاف الذي يغيّر طريقة كتابتك للبرومبت.

نصفا الصورة أدناه من مقطع واحد، وتوليد واحد، بينهما عشر ثوانٍ:

النصف العلوي واضح. MINIMAX وRIGHT ARM EQUIPMENT وPHANTOM GRIP و CHRONOS CLAW — صحيحة، على لوحات منزلقة، وتحت كاميرا متحرّكة.

والنصف السفلي شارع مليء بلافتات النيون، ولا لافتة واحدة فيه كلمة. النموذج نفسه، والمقطع نفسه، والبذرة نفسها، بعد عشر ثوانٍ.

والبرومبت يفسّر ذلك تفسيرًا كاملًا. هو يسمّي عشر سلاسل، وهذا ما عاد:

عشر من عشر. أما الشارع فقد طلب البرومبت مدينة سايبربانك ولم يقل شيئًا عمّا ينبغي أن تقوله أي لافتة — فصنع النموذج الشيء الوحيد المتاح له ورسم نسيجًا على هيئة لافتات.

وهذا هو السلوك نفسه الذي قاسته الأدلّة المنافسة. هي فقط لم تفصل بين الحالتين قطّ. فعبارة «النصّ يُخرَج نسيجًا لا رموزًا» وصف عادل لخلفية لم يكتب لها البرومبت نصًّا قطّ. لكنها ليست وصفًا لسلسلة سلّمتها أنت.

وثمة حالة ثالثة في المقطع نفسه. يطلب البرومبت شبكة «displaying hand, forearm, elbow, upper arm components». فهو يصف المكوّنات، ولا يسمّي سلسلة وسم قطّ — فتعود الشبكة أيقونات بلا نصّ تحتها إطلاقًا. لا مشوّهة. بل غائبة.

فحتى هنا تبدو القاعدة «النصّ المسمّى يُكتب إملائيًا، وغير المسمّى لا». صدّقت ذلك إلى أن فحصت مقطع منتج، وهي خاطئة.

النصّ غير المسمّى الذي خرج مثاليًا

هذان مقطعان آخران. لا واحد منهما يسمّي النصّ الذي أنت على وشك قراءته:

الإطار العلوي إعلان مشروب صيفي. برومبته كله جملة واحدة — راكب يعبر بلدة على تلّة، «opens a sparkling lemon drink»، بأسلوب الرسوم المصوّرة. لا علامة تجارية. لا نصّ ملصق. ولا شيء بين علامتَي اقتباس إطلاقًا.

اخترع النموذج BRIGHTSIP، ووضعه على الزجاجة، ثم كتبه إملائيًا بصورة صحيحة على أربعة ملصقات في إطار واحد وبأربع زوايا مختلفة، ثم مرة أخرى على الزجاجة الرئيسية بعد تسع ثوانٍ، ثم مرة أخرى على بطاقة الختام — حيث اخترع كذلك الشعار TASTE THE SUN وكتبه صحيحًا. زجاج منحنٍ، ومقياس متغيّر، وكاميرا متحرّكة، والكلمة لا تنكسر أبدًا.

والإطار السفلي إعلان كرسي واقعي. تعليقاته على لوحة المعلومات لطخات غير مقروءة، في المقطع نفسه الذي تحمل بطاقة ختامه ثمانية أحرف صحيحة.

النصفان كلاهما نصّ غير مسمّى. أحدهما مثالي والآخر ضجيج — فتسمية السلسلة تكفي لكتابتها إملائيًا، لكنها ليست ما يقرّر هل تُكتب سلسلة ما إملائيًا. الذي يقرّر هو هل للسلسلة بعينها وظيفة في اللقطة. فالكشف عن منتج ليس كشفًا عن منتج بلا علامة على الزجاجة، فيوفّر النموذج واحدة ويلتزم بها. أما قراءة تقنية فهي ديكور، ولا كلمة بعينها فيها تعني شيئًا، فيرسم النموذج نسيج قراءة. وأربعون لافتة نيون في الخلفية هي الحالة نفسها التي عليها لوحة المعلومات.

فالتسمية ليست المفتاح الذي يشغّل الإملاء. هي كيف تنتزع الاختيار من النموذج. اتركه وشأنه فسيسمّي منتجك نيابةً عنك — وBRIGHTSIP اختراع جيّد تمامًا لكنك لم تختره، ولا تستطيع توجيهه، ولن تحصل عليه ثانيةً في اللقطة التالية.

الشيء نفسه مرة أخرى، بأسلوب واقعي، والنصّ كله من اختراع النموذج

كلمة BRIGHTSIP كلمة واحدة في مقطع مرسوم، ومن السهل التغاضي عنها. فإليك إذن الحالة التي يصعب التغاضي عنها — فيلم منتج لبطّ مشوي، وكل كلمة عليه من النموذج:

هذا ليس مرسومًا. هو إعلان طعام واقعي — إضاءة استوديو، وانعكاسات لامعة رطبة، وطبق من الصخر بانعكاس. وبرومبته 655 حرفًا لا تسمّي أي سلسلة إطلاقًا. وما تسمّيه بدلًا من ذلك هو لغة:

Use clean, lightweight sans-serif typography throughout, with generous negative space and a consistent visual system. All Bahasa Indonesia text must be spelled and rendered correctly.

كتب النموذج إعلانه بنفسه. خمسة أسطر، كلها إندونيسية، كلها صحيحة: Memperkenalkan (نقدّم)، وKulit Sempurna (قشرة مثالية)، وRasa Pro.، وBebek Panggang. (بطّ مشوي)، وBeli Sekarang (اشترِ الآن). كما ترجم الموجز — فالبرومبت يقول «Peking duck» بالإنجليزية، وبطاقة الختام تقول Bebek Panggang.

وأمران يسقطان من ذلك، وهما أهمّ من المقطع نفسه.

الواقعية ليست هي المتغيّر. كنت افترضت أن الملصقات الصحيحة التي أقيسها صحيحة لأنها مرسومة — حروف مسطّحة يرسمها النموذج لا سطح عليه أن يضيئه. وهذا المقطع واقعي بقدر إعلان الكرسي الذي لوحاته لطخات، وحروفه مثالية. فأسلوب الإخراج ليس ما يفرّق بينهما.

وتستطيع تحديد اللغة دون تحديد الكلمات. وهذا يهمّ فعلًا، لأن الكتابة التي تصلك ليست تلقائيًا الكتابة التي كتبتها. فمقطع الكرسي سمّى بطاقة ختامه بالإنجليزية — «Inspiration and Comfort Online Simultaneously» — فأخرج النموذج 灵感与舒适同时在线، أي المقابل الصيني، صحيحًا. صحيحًا، وليس ما طُلب. وسطر واحد يسمّي اللغة هو الإصلاح كله.

الحجم ليس العتبة التي يظنّها الناس

أكثر رقم يتكرّر في هذه الزاوية من الإنترنت هو أن النصّ الذي يقلّ ارتفاعه عن نحو 40 بكسل يتشوّه لأن النموذج تنفد منه البكسلات التي يكتب بها.

ومقيسًا على هذه المقاطع، لا يصمد ذلك. فبطاقات الفصل في مثال إعلان MiniMax ارتفاع حرفها الكبير من 29 إلى 30 بكسل في إطار 1280×720 — أي تحت العتبة — وعبارة THE MISSION WAS A LIE مكتوبة صحيحة. وعبارة START NEW GAME تقيس 42 بكسلًا وهي صحيحة كذلك.

وأصغر سلسلة صحيحة وجدتها أصغر من ذلك بعد، وهي على المقطع الواقعي: عبارة Rasa Pro. ارتفاع حرفها الكبير 22 بكسلًا في إطار 1698×720، أي ثلاثة في المئة من ارتفاع الإطار، وهي نظيفة. ولم يسمّها أحد هي الأخرى.

النصّ الصغير يصير أصعب فعلًا. لكن على هذا النموذج، الارتفاع ليس ما يتنبّأ بخروج السلسلة مكتوبة صحيحة.

كيف تسمّي سلسلةً حتى تُخرَج

عمليًا، أربعة أشياء، كلها مأخوذة من برومبتات نجحت:

1. ضعها بين علامتَي اقتباس، بحروف كبيرة، كما تريدها بالضبط. صيغة Cursor clicks "CONTINUE" هي الصيغة التي تعمل. أما وصف زرّ بأنه «زرّ متابعة» فيعطي النموذج شكلًا يرسمه، لا كلمة يكتبها.
2. قل أين تجلس. «Right side displays game menu UI»، «Top left displays player profile». فالنصّ الذي له موضع كائن في المشهد؛ والنصّ بلا موضع زينة.
3. وجّه شكل الحروف، منفصلًا عن الكلمات. برومبت الإعلان لدى MiniMax ينفق تسعين كلمة على المعالجة وحدها — التباعد بين الحروف، والوهج، و«font not pure white»، وكيف تدخل. ولا شيء من ذلك يسمّي سلسلة، وكله يجعل السلاسل المسمّاة تبدو موجَّهة فنيًا لا مكتوبة على عجل.
4. سمِّ اللغة، حتى حين لا تسمّي الكلمات. عبارة «All Bahasa Indonesia text must be spelled and rendered correctly» هي كل تعليمة النصّ في فيلم البطّ، وقد عاد كل سطر إندونيسيًا. ومن دونها تحصل على ما يوحي به المشهد، وهكذا ينتهي موجز إنجليزي ببطاقة ختام صينية.

والنتيجة اللازمة، وهي الموفّرة فعلًا للمال: اللافتة غير المسمّاة ليست محايدة أبدًا. فما كُتب عليها قرّره شيء ما، وإن لم تكن أنت فهو النموذج — إما نسيجًا تضطرّ إلى القصّ حوله، وإما اسم علامة تجارية عليك أن تتعايش معه الآن.

أين ما زال إخراج النصّ في MiniMax H3 ينكسر

ثلاثة حدود صادقة، وكلها مرئية في المقاطع أعلاه.

التخطيط ليس إملاءً. انظر مرة أخرى إلى النصف العلوي من صورة المقارنة: عبارة CHRONOS CLAW تظهر مرتين، على صفّين متراكبين. كل حرف صحيح والقائمة خاطئة. فالنموذج صفّاف حروف موثوق ومصمّم واجهات غير موثوق، وهاتان مشكلتان منفصلتان.

وديكور المشهد يبقى هراءً، ولتسمية طريقك للخروج حدّ. تستطيع تسمية اللافتات الثلاث المهمّة. ولا تستطيع تسمية أربعين منها، وشارع مدينة كثيف يحتاج أربعين.

وثمة خانة واحدة بالضبط لا أستطيع ملأها: حروف واقعية على سطح منحنٍ. متغيّران يعملان هنا، ويستحقّان الفصل، لأن أغلب النصائح في هذا الموضوع تطويهما في واحد.

فيلم البطّ يستبعد «الواقعية هي المشكلة». وBRIGHTSIP يستبعد «الانحناء هو المشكلة». ولا واحد منهما يستبعد اجتماعهما، وثمة سبب فيزيائي لتوقّع أن يكون الاجتماع هو الصعب: فالملصق المرسوم شكل يرسمه النموذج على الزجاج، أما الواقعي فعليه أن يُعاد إسقاطه وإضاءته عند كل زاوية جديدة.

بحثت عن تلك الحالة فلم تكن المكتبة تحويها. فمن أصل 102 مدخل، المقطع الواقعي الوحيد الذي يطلب برومبته فعلًا «ultra-slow rotating close-ups» هو البطّ، والبطّ بلا ملصق. ويفيد صنّاع يعملون على لقطات زجاجات واقعية بأن الملصق ينكسر من الإطار الأول ولا ينجو لا في التحويل من صورة إلى فيديو ولا من صورة مرجعية إلى فيديو. ولم أعد إنتاج ذلك ولن أجزم به من لقطة شاشة عند غيري — لكنه المكان البديهي لتوقّف هذه القاعدة، وهو أول ما كنت سأختبره لو كانت اللقطة لي.

وهذه أمثلة منتقاة. أربعة من المقاطع الستة من عرض MiniMax نفسها واثنان مدخلان مجتمعيان في المكتبة نفسها، فهي تمثّل يومًا جيّدًا لا يومًا متوسّطًا، و22 من 22 ليست نتيجة ينبغي أن تتوقّع إعادة إنتاجها. والذي ينجو من انحياز الانتقاء هو النمط لا النتيجة — وهو ينجو جزئيًا لأن الهراء جالس هناك في المقاطع المنتقاة نفسها. فمن ينتقي الكرز لصالحه ما كان ليشحن ذلك الشارع.

للسلسلة الواحدة التي يجب أن تكون صحيحة في كل مرة

السلاسل المسمّاة تُخرَج صحيحة، وهي مع ذلك توليد. وصحيحة في هذه اللقطة لا تعني صحيحة في التالية، وإن كانت السلسلة علامتك التجارية أو اسم منتجك أو عنوانك الحقيقي، فعبارة «صحيحة غالبًا» ليست مواصفة.

وثمة مسار يزيل رمي النرد: ضع الكلمات في صورة مرجعية. عندها يكون لدى النموذج قفل يطابقه بدل حروف يرسمها، فهو لا يُخرج حروفًا أصلًا ولا شيء يتغيّر. وفي مثال إعلان MiniMax، بطاقة العنوان المصمَّمة الوحيدة ذات السطرين في القطعة هي هذا بالضبط — إنها الصورة الداخلة، على الشاشة في المقدّمة ثم في النهاية.

والشرح الكامل في كيف تصنع إعلان فيلم بالذكاء الاصطناعي على MiniMax H3، وهو كذلك موضع توقيت ورقة الإيقاع.

فتقسيم العمل إذن:

وللعمود الأيمن حدّ، وهو الحدّ نفسه أعلاه. فبطاقة العنوان مستوٍ يستطيع النموذج الإمساك به. أما ملصق ملفوف حول زجاجة تدور فسطح عليه أن يعيد رسمه عند كل زاوية جديدة، وتسليمه مرجعًا لا يزيل إعادة الرسم. عامل مسار الصورة المرجعية بوصفه محسومًا للطبقات العلوية، وغير مثبَت لأي شيء منحنٍ.

كيف تفحص مقطعك أنت في نحو دقيقة

لا تحكم من المشغّل. افرد المقطع كله دفعة واحدة، ثم عد بالدقة الكاملة إلى أي شيء يبدو خاطئًا:

# every other frame-ish, as one contact sheet
ffmpeg -i clip.mp4 -vf "fps=2,scale=320:-1,tile=5x7" -frames:v 1 sheet.png

# then the suspect moment, full size, exact frame
ffmpeg -i clip.mp4 -vf "select='eq(n,59)'" -fps_mode passthrough frame.png

فإن قرأت سلسلة خاطئةً على اللوحة، فاسحب الإطارين على جانبيها قبل أن تستنتج شيئًا. في هذه المقاطع الستة، كل سلسلة بدت معطوبة في التمريرة الأولى تبيّن أنها في منتصف الحركة — ومع أن النصّ غير المسمّى ليس معطوبًا تلقائيًا، فكل ما كان معطوبًا كان غير مسمّى.

جرّبه

أسرع نسخة من الاختبار: اكتب سطر نصّ واحدًا بين علامتَي اقتباس في برومبت، وولّد عند 8 ثوانٍ، ثم امشِ في النتيجة إطارًا إطارًا.

تحويل النص إلى فيديو يفعلها من جملة. وإن كان على الكلمات أن تكون صحيحة تمامًا في كل مرة، فأحضر صورتك أنت إلى من صورة مرجعية إلى فيديو ودع الصورة تحملها.

المقاطع والبرومبتات والصور المرجعية المشار إليها هنا تأتي من awesome-minimax-h3-prompts، برخصة CC BY 4.0. أربعة منها منسوبة إلى MiniMax؛ أما إعلان الليموناضة وفيلم البطّ فمدخلان مجتمعيان في المكتبة نفسها، منسوبان إلى Hemanth وإلى Feyber على الترتيب. وبرومبت فيلم البطّ منقول كاملًا من منشور صاحبه الأصلي، لأن المكتبة لا تحمل سوى مقتطف منه. أما أرقام الإطارات والتوقيتات وارتفاعات الحروف وكل سلسلة أعلاه فقُرئت من الملفات.