Липсинк: синхронизация губ нейросетью

Ваша фотография

002003004005

Сгенерировано — картинка и звук вместе

От четырёх до пятнадцати целых секунд при 24 кадрах/с, 768P или 2K, на одиннадцати языках, которые мы прогнали от начала до конца. JPG, PNG, WEBP, HEIC и HEIF заходят сразу — и это стоит сказать, потому что большинство фотографий людей сняты на телефон, а большинство инструментов молча заставляют сначала конвертировать. Снимок с телефона часто оживает лучше, чем вылизанный студийный портрет — ретушь убирает ту фактуру, которая нужна движению. И зубы, если есть выбор: закрытый рот не несёт никакой информации о том, что за губами, поэтому модель придумывает внутренность, а придуманные внутренности и есть то, из-за чего результат читается как неправильный.

Ваше фото — первый кадр

001

Ваше фото — первый кадр

Любая целая секунда

4–15 с

Любая целая секунда

Языков прогнали целиком

11

Языков прогнали целиком

Звук из того же прохода

Стерео

Звук из того же прохода

• Без аудиофайла заранее
• Без покадрового тайминга
• Без отдельного прохода липсинка

Готовый клип

Как выглядит липсинк, когда он получается

16:9 · 6 с

Полный промпт, а не пересказ

Reference the Hitchcock camera movement from Video 1, have the character in Image 2 sing, with the vocals matching Audio 3.

6 с · 16:9

Фотография выше и шесть секунд, в которые она превратилась

Один прогон, один промпт — ровно так, как их вернула модель

• 16:9 · 15 с

• 16:9 · 15 с

• 16:9 · 15 с

• 16:9 · 15 с

1. 

   01

   Бросьте лицо

   Подойдёт фото, подойдут и две-пятнадцать секунд материала. Одно лицо, смотрит в камеру, рот ничем не перекрыт. Файлы HEIC с айфона заходят сразу, и поле читает файл вам обратно — размер, форму, вес — ещё до того, как вы что-то потратите.

   Одно лицоJPG · PNG · WEBP · HEIC
2. 

   02

   Скажите, что они говорят

   Напечатайте предложение и языковой тег — и голос придёт вместе с ним, никакого аудиофайла заранее делать не нужно. Реплика в поле — это семьдесят три символа из выданных 7 000; всё остальное отведено под описание кадра.

   73 из 7 000 символовГолос подбирать не нужно
3. 

   Звуковая дорожка · 32 кГцLIP-SYNC.MP4

   03

   Включите, потом поменяйте одно слово

   Клип приходит со звуком уже внутри файла. Большинство оставляет второй или третий, а не первый — каждая попытка сохраняется, так что вы редактируете, а не начинаете заново.

   4–15 с · до 2KЗвук уже сведён

Первые две карточки — это скриншоты поля в начале страницы, а не его рисунок. Фотография, которую вы загружаете, не меняется: обратно приходит новый файл. Клип на третьей карточке — собственный клип MiniMax, опубликованный вместе с промптом в анонсе H3: кадр задал лицо, вокальная дорожка задала пение, отрывок из фильма задал движение камеры. Тот прогон шёл по аудиомаршруту; поле выше принимает и то и другое.

• 

  16:9 · 8 с

  Реплика прямо в камеру

  Весь клип — это один человек и одно предложение. Держите его примерно в двенадцати словах на шести секундах: длинные фразы на короткой длительности — обычная причина, по которой первая попытка разочаровывает.

  Сделать такой же
• 

  9:16 · 9 с

  Одна реплика для сцены

  Персонаж произносит реплику в том кадре, который вы уже представили. Описывайте не только слова, но и человека — одежду, причёску, одну отличительную черту, — и лицо продержится весь клип.

  Сделать такой же
• 

  9:16 · 15 с

  Кто-то рассказывает о товаре

  Кадр человека плюс кадр товара, а реплики расписаны по кадрам. Это тот случай, который идёт все пятнадцать секунд, — а значит, он же и показывает, где потолок.

  Сделать такой же
• 

  16:9 · 15 с

  Вокал, а не произнесённая реплика

  Поставьте тон «поёт» или загрузите вокал и дайте ему вести рот. Загруженная дорожка становится финальной звуковой дорожкой, а не референсом для неё, и её загрузка не тарифицируется. Держите клип не короче дорожки.

  Сделать такой же

Стартуете с видео и ваши исходные пиксели должны уцелеть? Это дубляж, и инструмент типа «вырезать и вклеить» справится с ним лучше этой страницы: здесь кадр пересобирают, а не редактируют.

Для масштаба: собственная документация Google по Veo 3.1 говорит, что английский поддержан полностью, а другие языки не оценивались. Нужно то же лицо или тот же голос в нескольких клипах? Возьмите видео по референсу.

Цена прогона

• Примета

  Рот, который не совпадает с кожей

  Заплатка в другом разрешении, чем лицо вокруг, и линия вдоль челюсти, которая ползёт при повороте головы. Один раз увидев, перестать видеть уже нельзя, — и ваша фотография в этом никогда не была виновата.

• Причина

  Квадрат 96 пикселей, вклеенный обратно

  Обычный метод находит рот, вырезает вокруг него маленький квадрат — часто 96 на 96, — генерирует в этом размере новые формы рта и вклеивает их в ваш кадр. Всё, что за пределами квадрата, через модель вообще не проходило.

• Как понять заранее

  Прочтите глагол, которым инструмент описывает себя

  Накладывает формы рта на лицо в вашем видео. Вмешивает их в исходное изображение. На, в — так или иначе что-то кладут поверх лица, которое уже есть, и линия челюсти там, где это заканчивается.

• Что здесь

  Новый кадр, вместе со звуком, за один проход

  MiniMax H3 никогда не ищет ваш рот, потому что она не редактирует ваш кадр. Ни вырезки, ни вклейки, ни края, за которым надо следить: рот несёт то же разрешение, что и щёки, потому что разрешение в картинке одно. Голос выходит из того же прохода, так что вы никогда не получите взволнованную дорожку поверх плоского лица.

1. 01Длина — это бюджет

   На выходе — целое число секунд от 4 до 15. При обычном темпе речи это примерно от десяти до сорока слов. Сначала напишите реплику, сосчитайте её, потом выбирайте длительность — в обратном порядке вы получите подачу, которая гонится за часами и не догоняет.

   4–15 с, целые секунды

2. 02Один тег несущий

   [Language] выбирает набор фонем, из которых лепится рот, — это тот тег, который меняет картинку. (S1) оправдывает своё место только тогда, когда в кадре больше одного возможного говорящего: против одного лица он не меняет ничего, что можно увидеть.

   (S1) … [Russian] …

3. 03Потолок символов — не про реплику

   7 000 символов покрывают весь промпт. Произнесённая реплика — это десятки символов; всё остальное — сам кадр: кто, где, как освещён, как скадрирован. Нехватка места — это всегда проблема описания, а не диалога.

   7 000 символов

4. 04Секунды — это счёт

   $0.08 за секунду вывода в 768P, $0.13 в 2K. Реплика задаёт длину, а длина задаёт счёт, поэтому пятнадцатисекундный дубль стоит почти вчетверо дороже четырёхсекундного. Большинство реплик, которые стоит услышать, короткие.

   $0.08 / с · 768P

Ничего из этого не догадки о модели: длительности и потолок символов — это опубликованные пределы, а посекундные цены — те, что на странице тарифов. Хотите, чтобы кадр описали за вас? Генератор промптов напишет остальные 6 900 символов.