Sincronização labial com IA

A sua fotografia

002003004005

Gerado — imagem e som juntos

De quatro a quinze segundos inteiros a 24 fps, 768P ou 2K, em onze idiomas que rodamos de ponta a ponta. JPG, PNG, WEBP, HEIC e HEIF entram direto, o que vale dizer porque a maioria das fotografias de pessoas são fotos de celular e a maioria das ferramentas te obriga a converter antes, sem avisar. Uma foto de celular costuma animar melhor que um retrato profissional — o retoque tira a textura de que o movimento precisa. Dentes, se você puder escolher: uma boca fechada não guarda informação nenhuma sobre o que há atrás dos lábios, então o modelo inventa um interior, e interiores inventados são o que faz um resultado parecer errado.

A sua foto é o quadro um

001

A sua foto é o quadro um

Segundo inteiro

4–15 s

Segundo inteiro

Idiomas de ponta a ponta

11

Idiomas de ponta a ponta

Som da mesma passagem

Estéreo

Som da mesma passagem

• Sem arquivo de áudio para fazer antes
• Sem marcação quadro a quadro
• Sem uma passagem separada de sincronização

A sincronização pronta

Como é a sincronização labial com IA quando ela sai certa

16:9 · 6 s

O prompt completo, não um resumo

Reference the Hitchcock camera movement from Video 1, have the character in Image 2 sing, with the vocals matching Audio 3.

6 s · 16:9

A fotografia acima, e os seis segundos em que ela virou

Uma rodada, um prompt, exatamente como o modelo devolveu

• 16:9 · 15 s

• 16:9 · 15 s

• 16:9 · 15 s

• 16:9 · 15 s

1. 

   01

   Solte um rosto

   Uma foto funciona, e de dois a quinze segundos de material também. Um rosto, olhando para a câmera, nada atravessando a boca. Arquivos HEIC de iPhone entram direto, e a caixa te lê o arquivo de volta — tamanho, formato, peso — antes de você ter gastado qualquer coisa.

   Um rostoJPG · PNG · WEBP · HEIC
2. 

   02

   Diga o que ela diz

   Digite a frase e uma etiqueta de idioma e a voz chega junto — não tem arquivo de áudio para fazer antes. A fala de sincronização labial na caixa tem setenta e três caracteres dos 7.000 que você recebe; todo o resto é para descrever a cena.

   73 de 7.000 caracteresSem voz para escalar
3. 

   Faixa de áudio · 32 kHzLIP-SYNC.MP4

   03

   Toque, depois mude uma palavra

   O clipe chega com o som já dentro do arquivo. A maioria das pessoas fica com o segundo ou o terceiro, não com o primeiro — toda tentativa é salva, então você está editando em vez de recomeçar.

   4–15 s · até 2KSom já embutido

Os dois primeiros cartões são capturas da caixa no topo desta página, não um desenho dela. A fotografia que você envia nunca é modificada — o que volta é um arquivo novo. O clipe do terceiro cartão é da própria MiniMax, publicado com o prompt no post de lançamento do H3: a foto definiu o rosto, uma faixa vocal definiu o canto, um trecho de filme definiu o movimento de câmera. Aquela rodada foi pela via do áudio; a caixa acima aceita as duas.

• 

  16:9 · 8 s

  Uma fala direto para a câmera

  O clipe inteiro é uma pessoa e uma frase. Fique abaixo de umas doze palavras em seis segundos — frases longas em durações curtas são o motivo mais comum de a primeira tentativa decepcionar.

  Fazer esta sincronização
• 

  9:16 · 9 s

  Uma fala de diálogo para uma cena

  Um personagem diz a fala na cena que você já imaginou. Descreva a pessoa além das palavras — roupa, cabelo, uma característica que a distinga — e o rosto fica no lugar pelo clipe inteiro.

  Fazer esta sincronização
• 

  9:16 · 15 s

  Alguém falando sobre um produto

  Foto da pessoa mais foto do produto, e as falas escritas plano a plano. Este é o que roda os quinze segundos inteiros, então é também o que te mostra onde fica o teto.

  Fazer esta sincronização
• 

  16:9 · 15 s

  Um vocal, não uma fala

  Defina o tom como sings, ou envie o vocal e deixe ele guiar a boca. A faixa enviada vira a trilha final, e não uma referência para uma, e enviá-la não é cobrado. Deixe o clipe pelo menos tão longo quanto a faixa.

  Fazer esta sincronização

Está partindo de um vídeo e os pixels originais precisam sobreviver? Isso é dublagem, e uma ferramenta de recortar e colar faz melhor que esta página — tudo aqui reconstrói a cena em vez de editá-la.

Para dar escala: a própria documentação do Google para o Veo 3.1 diz que o inglês tem suporte completo e que os outros idiomas não foram avaliados. Precisa do mesmo rosto ou da mesma voz em vários clipes? Use referência para vídeo.

Quanto custa uma rodada

• O sinal

  Uma boca que não combina com a pele

  Um remendo numa resolução diferente da do rosto em volta, e uma linha ao longo do queixo que se mexe quando a cabeça vira. Depois que você vê, não consegue mais parar de ver — e a culpa nunca foi da sua fotografia.

• A causa

  Um quadrado de 96 pixels, colado de volta

  O método usual acha a boca, recorta um quadradinho em volta dela — muitas vezes 96 por 96 — gera formas de boca novas naquele tamanho e cola no seu quadro. Tudo o que está fora do quadrado nunca passou pelo modelo.

• Como saber antes

  Leia o verbo que a ferramenta usa sobre si mesma

  Mapeia formas de boca sobre o rosto do seu vídeo. Funde essas formas na imagem original. Sobre, na — de um jeito ou de outro, alguma coisa está sendo posta em cima de um rosto que já estava lá, e a linha do queixo é onde aquilo termina.

• O que acontece aqui

  Um quadro novo, com som e tudo, numa passagem só

  O MiniMax H3 nunca acha a sua boca, porque ele não está editando o seu quadro. Sem recorte, sem colagem, sem borda para acompanhar: a boca carrega a resolução das bochechas porque só existe uma resolução na imagem. A voz sai dessa mesma passagem, então você nunca recebe uma trilha animada sobre um rosto apático.

1. 01Duração é um orçamento

   A saída é um número inteiro de segundos de 4 a 15. Num ritmo de fala comum, isso dá mais ou menos de dez a quarenta palavras. Escreva a fala primeiro, conte, e só depois escolha a duração — fazer ao contrário é como se ganha uma entrega correndo atrás de um relógio que ela não alcança.

   4–15 s, segundos inteiros

2. 02Uma etiqueta sustenta a carga

   [Language] escolhe o conjunto de fonemas que molda a boca, então é a etiqueta que muda a imagem. (S1) só ganha o lugar dela quando o quadro tem mais de um candidato a locutor — diante de um rosto só, ela não muda nada que você consiga ver.

   (S1) … [Portuguese] …

3. 03O teto de caracteres não é para a fala

   Os 7.000 caracteres cobrem o prompt inteiro. Uma fala tem dezenas de caracteres; todo o resto é a cena — quem, onde, com que luz, em que enquadramento. Ficar sem espaço é um problema de descrição, nunca de diálogo.

   7.000 caracteres

4. 04Os segundos são a fatura

   8 créditos por segundo de saída em 768P, 13 em 2K. A fala de sincronização define a duração e a duração define a conta, então uma tomada de quinze segundos custa quase quatro vezes uma de quatro. A maioria das falas que valem a pena ouvir é curta.

   8 créditos / s · 768P

Nada disso é chute sobre o modelo — as durações e o teto de caracteres são os limites publicados, e os preços por segundo são os que estão em preços. Quer que a cena seja descrita para você? O gerador de prompt escreve os outros 6.900 caracteres.