KI-Lippensynchronisation

Dein Foto

002003004005

Generiert — Bild und Ton zusammen

Vier bis fünfzehn ganze Sekunden bei 24 fps, 768P oder 2K, in elf Sprachen, die wir End-to-End gefahren haben. JPG, PNG, WEBP, HEIC und HEIF gehen direkt hinein, was erwähnenswert ist, weil die meisten Fotos von Menschen Handyfotos sind und die meisten Tools dich stillschweigend zuerst konvertieren lassen. Ein Handyschnappschuss animiert oft besser als ein poliertes Bewerbungsfoto — Retusche nimmt genau die Textur weg, die Bewegung braucht. Zähne, wenn du die Wahl hast: ein geschlossener Mund enthält keine Information darüber, was hinter den Lippen liegt, also erfindet das Modell ein Inneres, und erfundene Innenräume sind es, die ein Ergebnis falsch wirken lassen.

Dein Foto ist Frame eins

001

Dein Foto ist Frame eins

Jede ganze Sekunde

4–15 s

Jede ganze Sekunde

Sprachen End-to-End geprüft

11

Sprachen End-to-End geprüft

Ton aus demselben Durchgang

Stereo

Ton aus demselben Durchgang

• Keine Audiodatei vorher bauen
• Kein Timing Frame für Frame
• Kein separater Lip-Sync-Durchgang

Das fertige Ergebnis

Wie KI-Lippensynchronisation aussieht, wenn sie richtig herauskommt

16:9 · 6s

Der vollständige Prompt, keine Zusammenfassung

Reference the Hitchcock camera movement from Video 1, have the character in Image 2 sing, with the vocals matching Audio 3.

6s · 16:9

Das Foto oben, und die sechs Sekunden, die daraus wurden

Ein Lauf, ein Prompt, genau so, wie das Modell ihn zurückgegeben hat

• 16:9 · 15s

• 16:9 · 15s

• 16:9 · 15s

• 16:9 · 15s

1. 

   01

   Ein Gesicht hineinlegen

   Ein Foto geht, und zwei bis fünfzehn Sekunden Material gehen auch. Ein Gesicht, in die Kamera schauend, nichts vor dem Mund. iPhone-HEIC-Dateien gehen direkt hinein, und das Feld liest dir die Datei zurück — Größe, Format, Gewicht — bevor du irgendetwas ausgegeben hast.

   Ein GesichtJPG · PNG · WEBP · HEIC
2. 

   02

   Sagen, was gesagt wird

   Tippe den Satz und ein Sprach-Tag, und die Stimme kommt mit — du musst keine Audiodatei vorher bauen. Der Lip-Sync-Satz im Feld ist dreiundsiebzig Zeichen von den 7.000, die du hast; alles andere ist für die Beschreibung der Einstellung da.

   73 von 7.000 ZeichenKeine Stimme zu besetzen
3. 

   Tonspur · 32 kHzLIP-SYNC.MP4

   03

   Abspielen, dann ein Wort ändern

   Der Clip kommt mit dem Ton schon in der Datei an. Die meisten behalten den zweiten oder dritten, nicht den ersten — jeder Versuch wird gespeichert, du bearbeitest also, statt neu anzufangen.

   4–15s · bis 2KTon schon gemuxt

Die ersten beiden Karten sind Screenshots des Feldes oben auf dieser Seite, keine Zeichnung davon. Das Foto, das du hochlädst, wird nie verändert — zurück kommt eine neue Datei. Der Clip auf der dritten Karte ist MiniMax’ eigener, samt Prompt veröffentlicht im H3-Launch-Beitrag: das Standbild setzte das Gesicht, eine Gesangsspur setzte den Gesang, ein Filmclip setzte die Kamerafahrt. Dieser Lauf ging über den Audioweg; das Feld oben nimmt beide.

• 

  16:9 · 8s

  Ein Satz direkt in die Kamera

  Der ganze Clip ist eine Person und ein Satz. Bleib bei sechs Sekunden unter etwa zwölf Wörtern — lange Sätze bei kurzer Länge sind der übliche Grund, warum ein erster Versuch enttäuscht.

  Diese Lippensynchronisation bauen
• 

  9:16 · 9s

  Ein Satz Dialog für eine Szene

  Eine Figur sagt den Satz in der Einstellung, die du dir ohnehin vorgestellt hast. Beschreibe die Person genauso wie die Worte — Kleidung, Haare, ein markantes Merkmal — und das Gesicht bleibt über den Clip hinweg sitzen.

  Diese Lippensynchronisation bauen
• 

  9:16 · 15s

  Jemand spricht über ein Produkt

  Standbild der Person plus Standbild des Produkts, und die gesprochenen Sätze Einstellung für Einstellung geschrieben. Das ist der Lauf, der die vollen fünfzehn Sekunden fährt, also auch der, der dir zeigt, wo die Obergrenze liegt.

  Diese Lippensynchronisation bauen
• 

  16:9 · 15s

  Ein Gesang, kein gesprochener Satz

  Setz den Ton auf sings, oder lade die Gesangsspur hoch und lass sie den Mund treiben. Die hochgeladene Spur wird zur fertigen Tonspur und nicht zur Referenz für eine, und das Hochladen wird nicht berechnet. Mach den Clip mindestens so lang wie die Spur.

  Diese Lippensynchronisation bauen

Du startest von einem Video und deine Originalpixel müssen überleben? Das ist Dubbing, und ein Ausschneiden-und-Einsetzen-Tool macht es besser als diese Seite — hier wird alles neu aufgebaut statt bearbeitet.

Zur Einordnung: Googles eigene Dokumentation zu Veo 3.1 sagt, Englisch werde vollständig unterstützt und andere Sprachen seien nicht evaluiert. Du brauchst dasselbe Gesicht oder dieselbe Stimme über mehrere Clips? Nimm Referenz zu Video.

Was ein Lauf kostet

• Das Zeichen

  Ein Mund, der nicht zur Haut passt

  Ein Flicken in einer anderen Auflösung als das Gesicht drumherum, und eine Linie entlang des Kiefers, die beim Kopfdrehen kriecht. Hast du es einmal gesehen, siehst du es immer — und es lag nie an deinem Foto.

• Die Ursache

  Ein 96-Pixel-Quadrat, zurückgeklebt

  Die übliche Methode findet den Mund, schneidet ein kleines Quadrat darum aus — oft 96 mal 96 — erzeugt neue Mundformen in dieser Größe und klebt sie auf deinen Frame. Alles außerhalb des Quadrats ist nie durch das Modell gelaufen.

• Vorher erkennen

  Lies das Verb, das ein Werkzeug über sich selbst benutzt

  Bildet Mundformen auf das Gesicht in deinem Video ab. Blendet sie in das Originalbild ein. Auf, in — so oder so wird etwas über ein Gesicht gelegt, das schon da ist, und die Kieferlinie ist die Stelle, wo es endet.

• Was hier passiert

  Ein neuer Frame, Ton inklusive, in einem Durchgang

  MiniMax H3 findet deinen Mund nie, weil es deinen Frame nicht bearbeitet. Kein Ausschnitt, kein Einkleben, keine Kante zum Nachführen: der Mund trägt die Auflösung der Wangen, weil es im Bild nur eine Auflösung gibt. Die Stimme kommt aus demselben Durchgang, du bekommst also nie eine aufgeregte Tonspur über einem flachen Gesicht.

1. 01Länge ist ein Budget

   Die Ausgabe ist eine ganze Zahl von Sekunden zwischen 4 und 15. Bei normalem Sprechtempo sind das grob zehn bis vierzig Wörter. Schreib den Satz zuerst, zähl ihn, dann wähl die Länge — andersherum bekommst du eine Betonung, die gegen eine Uhr rennt, die sie nicht schlagen kann.

   4–15s, ganze Sekunden

2. 02Ein Tag ist tragend

   [Language] wählt den Lautbestand, aus dem der Mund geformt wird, es ist also der Tag, der das Bild verändert. (S1) verdient seinen Platz erst, wenn im Bild mehr als eine Person als Sprecher infrage kommt — bei einem einzelnen Gesicht ändert es nichts, was du sehen könntest.

   (S1) … [German] …

3. 03Die Zeichenobergrenze gilt nicht der Zeile

   7.000 Zeichen decken den ganzen Prompt ab. Ein gesprochener Satz sind ein paar Dutzend Zeichen; alles andere ist die Einstellung — wer, wo, wie beleuchtet, wie gerahmt. Wenn der Platz ausgeht, ist das ein Beschreibungsproblem, nie ein Dialogproblem.

   7.000 Zeichen

4. 04Sekunden sind die Rechnung

   8 Credits pro Ausgabesekunde in 768P, 13 in 2K. Die Lip-Sync-Zeile setzt die Länge, und die Länge setzt die Rechnung, ein Take von fünfzehn Sekunden kostet also fast das Vierfache eines Takes von vier. Die meisten Sätze, die es zu hören lohnt, sind kurz.

   8 Credits / s · 768P

Nichts davon ist geraten — die Längen und die Zeichenobergrenze sind die veröffentlichten Limits, und die Sekundenpreise stehen so auf Preise. Du willst die Einstellung beschrieben bekommen? Prompt-Generator schreibt die anderen 6.900 Zeichen.