AI リップシンク動画生成

あなたの写真

002003004005

生成されたもの — 映像と音が一緒に

24 fps で 4 から 15 までの任意の整数秒、768P または 2K、通しで確認した 11 言語。JPG・PNG・WEBP・HEIC・HEIF はそのまま入ります。人物の写真はたいていスマホの写真で、たいていのツールは黙って変換を求めてくるので、これは言っておく価値があります。磨き上げた宣材写真より、スマホのスナップのほうがよく動くことが多い——レタッチは、動きに必要な質感を消してしまうからです。選べるなら歯が見えているものを：閉じた口は唇の奥の情報を持たないので、モデルは口の中を作り出します。その作り出された口の中こそが、結果を「なんか違う」と感じさせる正体です。

写真が最初のフレーム

001

写真が最初のフレーム

任意の整数秒

4〜15 秒

任意の整数秒

通しで確認した言語

11

通しで確認した言語

同じパスから出る音

ステレオ

同じパスから出る音

• 音声ファイルを先に作らなくていい
• フレームごとのタイミング合わせがいらない
• リップシンクの工程を別に回さなくていい

仕上がった 1 本

AI リップシンクがうまくいったときの見え方

16:9 · 6s

プロンプト全文、要約ではありません

Reference the Hitchcock camera movement from Video 1, have the character in Image 2 sing, with the vocals matching Audio 3.

6s · 16:9

上の写真と、それが変わった 6 秒

1 回の生成、1 つのプロンプト、モデルが返したそのまま

• 16:9 · 15s

• 16:9 · 15s

• 16:9 · 15s

• 16:9 · 15s

1. 

   01

   顔を 1 つ入れる

   写真でもいいですし、2 秒から 15 秒の素材でもかまいません。顔は 1 つ、カメラを見ていて、口に何もかかっていないこと。iPhone の HEIC はそのまま入り、ボックスはファイルの中身を読み返してくれます——寸法、比率、容量——お金を使う前に。

   顔は 1 つJPG ・PNG ・WEBP ・HEIC
2. 

   02

   話す内容を書く

   文と言語タグを打ち込めば、声も一緒に届きます——音声ファイルを先に作る必要はありません。ボックスの中の 1 行は、与えられた 7,000 文字のうちの 73 文字。残りはすべてショットを描写するためのものです。

   7,000 のうち 73 文字声を選ぶ手間なし
3. 

   音声トラック · 32 kHzLIP-SYNC.MP4

   03

   再生して、1 語だけ変える

   動画は、音がすでにファイルに入った状態で届きます。多くの人が残すのは 1 本目ではなく 2 本目か 3 本目です——どの試行も保存されるので、やり直すのではなく手直しになります。

   4〜15s · 最大 2K音はすでに多重化済み

前の 2 枚は、このページの上にあるボックスのスクリーンショットで、描いた図ではありません。アップロードした写真は決して書き換えられません——返ってくるのは新しいファイルです。3 枚目のカードの動画は MiniMax 自身のもので、プロンプトつきで H3 の発表記事 に公開されています。静止画が顔を、ボーカルトラックが歌を、映画のクリップがカメラの動きを決めました。あの回は音声のルートを通りましたが、上のボックスはどちらのルートも受け付けます。

• 

  16:9 · 8s

  カメラに向かって 1 行

  動画まるごとが 1 人と 1 文です。6 秒なら 12 語くらいまでに抑えてください——短い尺に長い文を入れるのが、最初の 1 本でがっかりするいちばんの原因です。

  これを作る
• 

  9:16 · 9s

  場面に 1 行のセリフを

  すでに頭の中にあるショットで、キャラクターにその 1 行を言わせます。言葉だけでなく人物も描写してください——服、髪、目立つ特徴を 1 つ——そうすれば顔は動画のあいだ動きません。

  これを作る
• 

  9:16 · 15s

  商品について話す人

  人物の静止画に商品の静止画を足し、セリフはショットごとに書きます。これは 15 秒をフルに使う 1 本なので、上限がどこにあるかも見えます。

  これを作る
• 

  16:9 · 15s

  話すのではなく歌う

  トーンを「歌う」に設定するか、ボーカルをアップロードして口を動かさせてください。アップロードしたトラックは参照ではなく完成音声そのものになり、アップロードに請求はありません。動画の尺は、少なくともトラックと同じ長さにしてください。

  これを作る

動画から始めて、元のピクセルがそのまま残らないと困る？ それは吹き替えで、切り貼り式のツールのほうがこのページより得意です——ここでのすべては、元の映像を編集するのではなくショットを作り直しています。

目安として、Google 自身の Veo 3.1 のドキュメントには、英語は完全対応で他の言語は評価していないと書かれています。何本かの動画で同じ顔や同じ声を保ちたいときは 参照素材から動画 をお使いください。

1 本いくらか

• 兆候

  肌と合っていない口

  まわりの顔とは解像度の違うパッチと、頭が動くたびに這う顎のラインの線。一度気づくともう見えないふりはできません——そしてそれは、あなたの写真のせいだったことは一度もありません。

• 原因

  96 ピクセルの正方形を貼り戻す

  よくある方法は、口を見つけてそのまわりを小さな正方形——多くは 96 × 96——で切り抜き、そのサイズで新しい口の形を生成して、あなたのコマに貼り戻します。正方形の外側は、一度もモデルを通っていません。

• 先に見分ける

  ツールが自分を説明する動詞を読む

  動画の顔に口の形をマッピングします。元の画像にブレンドします。マッピング、ブレンド——どちらにしても、すでにそこにある顔の上に何かが重ねられていて、顎のラインがその境目です。

• ここで起きること

  音も含めた新しいコマが、1 回のパスで

  MiniMax H3 はあなたの口を探しません。あなたのコマを編集していないからです。切り抜きも貼り付けも、追いかける境目もありません。口が頬と同じ解像度を持つのは、絵の中に解像度が 1 つしかないからです。声も同じパスから出るので、平坦な顔に興奮した音声がかぶることがありません。

1. 01長さは予算です

   出力は 4 から 15 までの整数秒です。ふつうの話す速さなら、だいたい 10 語から 40 語。先にセリフを書き、数えてから尺を選んでください——逆の順番でやると、追いつけない時計と競走する話し方になります。

   4〜15 秒、整数秒

2. 02効いているタグは 1 つ

   [Language] は口の形のもとになる音素セットを選ぶので、映像を変えるのはこのタグです。(S1) が意味を持つのは、画面に話し手の候補が 2 人以上いるときだけです——顔が 1 つなら、目に見える変化は起こりません。

   (S1) … [Japanese] …

3. 03文字数の上限はセリフのためのものではありません

   7,000 文字はプロンプト全体の上限です。話すセリフは数十文字で、残りはすべてショット——誰が、どこで、どんな光で、どんな画角で。書ききれないのは描写の問題であって、セリフの問題ではありません。

   7,000 文字

4. 04秒数が請求書です

   768P は出力 1 秒あたり $0.08、2K は $0.13。セリフが長さを決め、長さが請求額を決めるので、15 秒のテイクは 4 秒のものの 4 倍近くかかります。聞く価値のあるセリフは、たいてい短いものです。

   $0.08 / 秒 · 768P

ここに書いたことはモデルについての推測ではありません——尺と文字数の上限は公開されている制限ですし、秒あたりの価格は 料金ページ にあるものです。ショットの描写を任せたいときは、プロンプト生成 が残りの 6,900 文字を書きます。