Texte illisible en vidéo IA ? MiniMax H3, image par image

Le conseil standard, à propos du texte dans une vidéo IA, c’est de ne pas le générer. Sortez le clip muet, ouvrez-le dans un logiciel de montage, composez la typo vous-même. Tous les guides de la première page de Google en donnent une version, et tous donnent la même raison : les modèles vidéo peignent les lettres comme une texture au lieu de les épeler, donc le lettrage dérive et ressort mal orthographié d’une image à l’autre.

Je suis allé vérifier sur MiniMax H3, et le conseil laisse quelque chose de côté.

J’ai pris six clips d’exemple publiés et je les ai parcourus image par image. Ensemble, ils contiennent 22 textes à l’écran que le prompt a demandés nommément. Une fois chacun immobile, les 22 sont correctement orthographiés — menu de jeu, liste d’équipement et carton-titre sur deux lignes avec sous-titre compris.

Ces mêmes clips contiennent aussi beaucoup de texte parfaitement illisible. Et dans deux d’entre eux, quelque chose de plus étrange : une accroche que personne n’avait demandée, que le modèle a écrite lui-même, et qu’il a orthographiée correctement à chacune de ses apparitions. Séparer ces deux cas vaut mieux que le titre, parce que cela vous dit lesquels de vos propres plans sont sûrs.

À quoi ressemble vraiment une image « ratée » de MiniMax H3

Le même panneau de menu du même clip, à une demi-seconde d’écart. En haut à 2,458 s, en bas à 2,958 s :

L’image du haut, c’est la capture qu’on poste avec une légende sur l’IA incapable d’écrire. La deuxième ligne est un doublon baveux, à moitié formé, de celle du dessus. Elle a l’air cassée parce qu’elle est cassée — pendant quatre dixièmes de seconde environ, le temps que le panneau y inscrive sa deuxième ligne.

Puis elle se fixe sur CHRONOS CLAW et n’en bouge plus.

J’ai compté les images. Le panneau arrive à l’image 56 et repart à l’image 103. La deuxième ligne est illisible de l’image 56 à l’image 65, et nette à partir de l’image 68. À 24 images par seconde, cela fait une fenêtre de 0,4 s dans deux secondes de panneau — un cinquième environ de son temps d’écran a l’air d’une faute et n’en est pas une.

Cela compte plus qu’il n’y paraît, parce qu’un cinquième n’est pas la probabilité réelle d’y tomber. Quand on fait défiler une timeline, on s’arrête là où il se passe quelque chose, et les images où il se passe quelque chose sont précisément celles où la typo n’est pas encore posée. Le défilement est biaisé vers l’artefact.

La première règle est donc une règle de méthode, pas de création. Jugez la typo sur une image où rien ne bouge. Et quand vous extrayez une vignette, extrayez-la après le verrouillage du carton, sinon vous publiez l’artefact vous-même et quelqu’un en fera une capture.

Nommez une chaîne et MiniMax H3 l’écrira

Voici maintenant ce qui change la façon d’écrire le prompt.

Les deux moitiés de l’image ci-dessous viennent du même clip, de la même génération, à dix secondes d’intervalle :

La moitié du haut est nette. MINIMAX, RIGHT ARM EQUIPMENT, PHANTOM GRIP, CHRONOS CLAW — corrects, sur des panneaux qui glissent, sous une caméra qui bouge.

La moitié du bas est une rue pleine d’enseignes au néon, et pas une seule n’est un mot. Même modèle, même clip, même seed, dix secondes plus tard.

Le prompt explique tout. Il nomme dix chaînes, et voici ce qui est revenu :

Dix sur dix. Pour la rue, le prompt demandait une ville cyberpunk sans rien dire de ce que devaient porter les enseignes — le modèle a donc fait la seule chose possible : peindre une texture en forme d’enseigne.

C’est exactement le comportement que les guides concurrents ont mesuré. Ils n’ont simplement jamais séparé les deux cas. « Le texte est rendu comme une texture, pas comme des symboles » décrit correctement un arrière-plan pour lequel le prompt n’a jamais écrit une ligne. Cela ne décrit pas une chaîne que vous avez remise au modèle.

Il y a un troisième cas dans le même clip. Le prompt demande une grille « affichant les composants main, avant-bras, coude, bras ». Il décrit les composants, jamais une chaîne d’étiquette — et la grille revient en icônes, sans le moindre texte dessous. Pas illisible : absent.

Jusque-là, la règle a l’air d’être « le texte nommé s’écrit, le texte non nommé ne s’écrit pas ». Je l’ai crue, jusqu’à un clip produit. Et elle est fausse.

Le texte non nommé qui est sorti parfait

Deux clips de plus. Aucun des deux ne nomme le texte que vous allez lire :

L’image du haut vient d’une publicité pour une boisson d’été. Son prompt tient en une phrase : un livreur traverse un village de collines, « ouvre une boisson pétillante au citron », style bande dessinée. Pas de marque. Pas de texte d’étiquette. Rien entre guillemets.

Le modèle a inventé BRIGHTSIP, l’a posé sur la bouteille, puis l’a orthographié correctement sur quatre étiquettes dans une même image, sous quatre angles différents, encore sur la bouteille héroïne neuf secondes plus tard, et encore sur le carton final — où il a aussi inventé et correctement écrit l’accroche TASTE THE SUN. Verre bombé, échelle qui change, caméra qui bouge : le mot ne casse jamais.

L’image du bas est une publicité photoréaliste de siège. Ses annotations HUD sont des taches illisibles, dans le clip même dont le carton final porte huit caractères chinois sans une erreur.

Les deux moitiés sont du texte non nommé. L’une est parfaite, l’autre est du bruit — donc nommer une chaîne suffit à la faire écrire, mais ce n’est pas ce qui décide si une chaîne sera écrite. Ce qui décide, c’est de savoir si cette chaîne a un rôle dans le plan. Une révélation produit n’en est pas une sans marque sur la bouteille : le modèle en fournit donc une et s’y tient. Un relevé technique est du décor, aucun mot précis n’y signifie quoi que ce soit : le modèle peint donc la texture d’un relevé. Les quarante enseignes au néon du fond relèvent du même cas que le HUD.

Nommer n’est pas l’interrupteur qui allume l’orthographe. Nommer, c’est reprendre le choix au modèle. Laissé seul, H3 baptisera votre produit à votre place — et BRIGHTSIP est une très bonne trouvaille que vous n’avez pas choisie, que vous ne pouvez pas briefer, et que vous n’aurez pas à la prise suivante.

La même chose, en photoréaliste, avec toute la copie inventée

BRIGHTSIP est un mot dans un clip en style BD, ce qui se balaie d’un revers de main. Voici le cas qui se balaie mal : un film produit de canard laqué, et chaque mot à l’écran est du modèle :

Ce n’est pas dessiné. C’est une publicité alimentaire photoréaliste — éclairage de studio, reflets spéculaires humides, une assiette en ardoise avec son reflet. Et son prompt fait 655 caractères qui ne nomment aucune chaîne. Ce qu’il nomme, c’est une langue :

Use clean, lightweight sans-serif typography throughout, with generous negative space and a consistent visual system. All Bahasa Indonesia text must be spelled and rendered correctly.

Le modèle a écrit sa propre publicité. Cinq lignes, toutes en indonésien, toutes correctes : Memperkenalkan (nous vous présentons), Kulit Sempurna (peau parfaite), Rasa Pro., Bebek Panggang. (canard rôti) et Beli Sekarang (acheter maintenant). Il a même traduit le brief : le prompt dit « Peking duck » en anglais, et le carton final dit Bebek Panggang.

Deux choses en découlent, et elles comptent plus que le clip lui-même.

Le photoréalisme n’est pas la variable. J’avais supposé que les étiquettes correctes que je mesurais l’étaient parce qu’elles étaient dessinées — un lettrage à plat que le modèle peint, plutôt qu’une surface qu’il doit éclairer. Or ce clip est aussi photoréaliste que la publicité de siège dont le HUD est baveux, et sa typo est parfaite. Ce n’est pas le style de rendu qui sépare les deux.

Vous pouvez préciser la langue sans préciser les mots. Cela s’avère important, parce que l’écriture que vous obtenez n’est pas automatiquement celle que vous avez écrite. Le clip du siège nommait son carton final en anglais — « Inspiration and Comfort Online Simultaneously » — et le modèle a rendu 灵感与舒适同时在线, l’équivalent chinois, correctement. Correct, et pas ce qui avait été demandé. Une ligne qui nomme la langue, c’est tout le correctif.

La taille n’est pas le seuil qu’on croit

Le chiffre le plus repris dans ce coin d’internet, c’est qu’en dessous de 40 px de hauteur environ le texte se casse, faute de pixels pour l’écrire.

Mesuré sur ces clips, cela ne tient pas. Les cartons intercalaires de l’exemple de bande-annonce de MiniMax font 29 à 30 px de hauteur de capitale dans une image de 1280×720 — sous le seuil — et THE MISSION WAS A LIE est correctement écrit. START NEW GAME mesure 42 px et l’est aussi.

La plus petite chaîne correcte que j’ai trouvée est encore plus petite, et elle est sur le clip photoréaliste : Rasa Pro. fait 22 px de capitale dans une image de 1698×720, trois pour cent de la hauteur, et elle est nette. Personne ne l’avait nommée non plus.

Le petit texte devient bien plus difficile. Mais sur ce modèle, ce n’est pas la hauteur qui prédit qu’une chaîne sortira correctement écrite.

Comment nommer une chaîne pour qu’elle se rende

Concrètement, quatre choses, toutes tirées de prompts qui ont fonctionné :

1. Mettez-la entre guillemets, en capitales, exactement telle que vous la voulez. Cursor clicks "CONTINUE" est la forme qui marche. Décrire un bouton comme « un bouton continuer » donne au modèle une forme à peindre, pas un mot à écrire.
2. Dites où elle se pose. "Right side displays game menu UI", "Top left displays player profile". Un texte qui a une position est un objet de la scène ; un texte qui n’en a pas est une décoration.
3. Dirigez la typo séparément des mots. Le prompt de bande-annonce de MiniMax consacre 90 mots au seul traitement : interlettrage, halo, « police pas tout à fait blanche », manière d’entrer. Rien de tout cela ne nomme une chaîne, et c’est pourtant ce qui fait que les chaînes nommées ont l’air dirigées artistiquement plutôt que tapées.
4. Nommez la langue, même quand vous ne nommez pas les mots. "All Bahasa Indonesia text must be spelled and rendered correctly" est toute l’instruction texte du film de canard, et chaque ligne est revenue en indonésien. Sans elle, vous obtenez ce que la scène suggère — c’est ainsi qu’un brief en anglais finit avec un carton final en chinois.

Et le corollaire, celui qui fait vraiment économiser : une enseigne non nommée n’est jamais neutre. Ce qui y est écrit a été décidé par quelque chose, et si ce n’est pas vous, c’est le modèle — soit comme une texture qu’il faudra recadrer, soit comme une marque avec laquelle il faudra vivre.

Là où le rendu de texte de MiniMax H3 casse encore

Trois limites honnêtes, toutes visibles dans les clips ci-dessus.

Écrire n’est pas mettre en page. Regardez à nouveau la moitié haute de l’image de comparaison : CHRONOS CLAW y apparaît deux fois, sur deux lignes superposées. Chaque lettre est juste et la liste est fausse. Le modèle est un typographe fiable et un concepteur d’interface peu fiable ; ce sont deux problèmes distincts.

Le décor reste illisible, et nommer a une limite. Vous pouvez nommer les trois enseignes qui comptent. Vous ne pouvez pas en nommer quarante, et une rue dense en demande quarante.

Il reste exactement une case que je ne peux pas remplir : la typo photoréaliste sur une surface courbe. Deux variables sont en jeu, et il vaut la peine de les séparer, car la plupart des articles sur le sujet les confondent.

Le film de canard écarte « le photoréalisme est le problème ». BRIGHTSIP écarte « la courbure est le problème ». Aucun des deux n’écarte la combinaison des deux, et il y a une raison physique de s’attendre à ce que ce soit elle, la difficile : une étiquette dessinée est une forme que le modèle peint sur du verre, alors qu’une étiquette photoréaliste doit être reprojetée et rééclairée à chaque nouvel angle.

Je suis allé chercher ce cas et la bibliothèque ne le contient pas. Sur 102 entrées, le seul clip photoréaliste dont le prompt demande réellement des « ultra-slow rotating close-ups » est le canard, et un canard n’a pas d’étiquette. Les créateurs qui travaillent sur des plans de bouteille photoréalistes rapportent une étiquette qui casse dès la première image et que ne sauvent ni le passage d’une photo à la vidéo, ni le départ d’une image de référence. Je ne l’ai pas reproduit et je ne vais pas l’affirmer à partir de la capture de quelqu’un d’autre — mais c’est l’endroit le plus probable où cette règle s’arrête, et le premier que je testerais si le plan était le mien.

Ce sont des exemples sélectionnés. Quatre des six clips viennent de la vitrine de MiniMax et deux sont des contributions de la communauté dans la même bibliothèque : ils représentent un bon jour, pas une moyenne, et 22 sur 22 n’est pas un chiffre qu’il faut espérer reproduire. Ce qui survit au biais de sélection, c’est le schéma, pas le score — et il y survit en partie parce que l’illisible est là, dans ces mêmes clips sélectionnés. Un éditeur qui ne montrerait que le meilleur n’aurait pas livré cette rue.

Pour la chaîne qui doit être juste à tous les coups

Les chaînes nommées se rendent correctement, et elles restent une génération. Juste sur cette prise ne veut pas dire juste sur la suivante ; et si la chaîne est votre marque, le nom de votre produit ou votre vrai titre, « juste la plupart du temps » n’est pas une spécification.

Il existe une voie qui retire le dé : mettre les mots dans une image de référence. Le modèle a alors un bloc typographique à faire correspondre au lieu de lettres à dessiner ; il ne rend plus de typo du tout, donc rien ne peut varier. Dans l’exemple de bande-annonce de MiniMax, l’unique carton-titre composé du film est exactement cela : c’est l’image d’entrée, à l’écran au début puis à la fin.

Le déroulé complet est dans comment faire une bande-annonce IA avec MiniMax H3, où se trouve aussi le calage sur les temps.

La répartition est donc la suivante :

La colonne de droite a une frontière, et c’est la même que plus haut. Un carton-titre est un plan que le modèle sait tenir. Une étiquette enroulée sur une bouteille qui tourne est une surface qu’il doit redessiner à chaque nouvel angle, et lui donner une référence ne supprime pas ce redessin. Considérez la voie de l’image de référence comme acquise pour les incrustations et non vérifiée pour tout ce qui est courbe.

Vérifier votre propre clip en une minute environ

Ne jugez pas depuis le lecteur. Étalez d’abord tout le clip d’un coup, puis revenez en pleine résolution sur ce qui semble faux :

# une image sur deux environ, sur une seule planche
ffmpeg -i clip.mp4 -vf "fps=2,scale=320:-1,tile=5x7" -frames:v 1 sheet.png

# puis le moment suspect, en taille réelle, à l’image exacte
ffmpeg -i clip.mp4 -vf "select='eq(n,59)'" -fps_mode passthrough frame.png

Si une chaîne se lit mal sur la planche, sortez les images de part et d’autre avant de conclure. Dans ces six clips, chaque chaîne qui semblait cassée au premier passage était en cours d’animation — et si le texte non nommé n’est pas automatiquement cassé, tout ce qui était cassé était non nommé.

À vous d’essayer

La version la plus rapide du test : écrivez une ligne entre guillemets dans un prompt, générez sur 8 secondes, et parcourez le résultat image par image.

De texte à vidéo le fait à partir d’une phrase. Si les mots doivent être exacts à chaque fois, apportez plutôt votre propre image fixe à partir d’une image de référence et laissez l’image les porter.

Les clips, prompts et images de référence cités ici viennent de awesome-minimax-h3-prompts, CC BY 4.0. Quatre sont au nom de MiniMax ; la publicité de limonade et le film de canard sont des contributions de la communauté dans la même bibliothèque, au nom de Hemanth et de Feyber respectivement. Le prompt du film de canard est cité intégralement depuis la publication d’origine de son auteur, la bibliothèque n’en conservant qu’un extrait. Les numéros d’image, les temps, les hauteurs de capitale et chaque chaîne ci-dessus ont été relevés dans les fichiers.