MiniMax H3 の音の書き方：聞こえるものを決める 3 項目

多くの動画モデルは、音を二つ目の工程として扱います。H3 は違います。映像と音声は同じ 1 回の順伝播から出てきて、32 kHz ステレオで、1 つの MP4 に収まっています。音声だけの別プロンプトはなく、音を切るスイッチもありません。

手を動かす側から見ると、これは一文に縮みます。音を書かなかったなら、音を選ばなかったということです。 書かなくてもモデルは何かしら返してきますし、指示がないときに返ってくるのは、その場面としてもっともらしい平均値です。

構造化プロンプトには、音を運ぶフィールドが 3 つある

H3 が受け取るプロンプトの形式は、ひと続きの文章ではなく構造化された文書です。テキスト・画像・キーフレームのタスクではフィールドが 3 つ、順序は常にこれです。

integrated_multimodal_description
overall_soundscape
non_diegetic_music

3 つは入れ替えられません。そして、この切り分けそのものが役に立つところです。

• integrated_multimodal_description はショットを運びます——構図、被写体、環境、動作、カメラ、そしてある特定の瞬間に聞こえるものを、時刻つきで。At 00:04.500, the door latch clicks.
• overall_soundscape はその世界の環境音とフォーリーです。部屋の暗騒音、雨、遠くの車の流れ、冷蔵庫。クリップ全体を通して成り立っているものです。
• non_diegetic_music は劇伴です。場面の外側にあり、場面の中の誰にも聞こえていません。作風、編成、テンポ、そして気分がどう動くか。

いちばんよくある間違いは、最後のフィールドに住んでいます。劇伴を soundscape のフィールドに書くと、その部屋に実在する音楽を頼んだことになり、画面のすぐ外のスピーカーで鳴っているような音が返ってきます。劇伴が欲しいなら、劇伴のフィールドで言ってください。

non_diegetic_music: none と書くのは、正当で、そしてあまり使われていない指示です。ドキュメンタリー寄りの素材は、ほぼ必ずこれを求めます。

セリフには書式がある

ここは自分では見つけにくく、そして使った瞬間に結果が変わるところです。台詞には 3 つのものを付けます。話者の識別子、言語、そして言い方の指定です。

(S1) speaks softly, [English] Follow the wind, live free.

この一行の中で、3 つが仕事をしています。

• (S1) は安定した話者 ID です。同じものを使い回せば声は行をまたいでも変わらず、(S2) を出せば 2 人目の、はっきり違う声が手に入ります。2 人の掛け合いが崩れずに成立するのは、これのおかげです。
• [English] は話される言語を決めます。確実に通るのは 11 言語——アラビア語、中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語です。
• 角括弧の前に置く言い方の指定——speaks softly、level broadcast delivery、shouting over traffic——は、映像の描写に形容詞をいくら積むよりも、演技を大きく動かします。

英語以外で書く人がつまずく規則が 1 つあります。公式の案内は、書き直したプロンプトは英語で書く、ただしセリフ・歌詞・画面に映る文字はそれぞれの言語のまま残す、というものです。ドイツ語の台詞は角括弧の中でドイツ語のまま、その周りの描写は英語です。

書き切った例

ニュース番組のショットを、いちばん長い書き方で書いたものです。複雑ではありません。ただ、欠けていないだけです。

integrated_multimodal_description:
[Shot 1] Locked-off medium shot, chest up. A presenter sits at a dark
news desk, studio key light from camera left, out-of-focus screens
behind her. She looks straight down the lens and delivers one line.
At 00:00.800 she begins speaking. At 00:03.200 she pauses, then
completes the sentence.
(S1) level broadcast delivery, [English] The vote came in just after
midnight.

overall_soundscape:
Room tone only. Faint air handling. No audience, no paper, no
keyboard.

non_diegetic_music:
None.

いちばん効いている制約は、後ろ 2 つのフィールドそれぞれの最後の一行です。「Room tone only」と「None」。この 2 つが、モデルがこのショットに劇伴を付けることと、頼んでもいないニュース現場のざわめきを足すことを止めています。

公式の案内が実際に効かせている規則

5 つあります。自分のプロンプトを突き合わせてみる価値があります。

1. 書き直しは英語で書く。セリフ・歌詞・画面上の文字は、それぞれの言語のまま残す。
2. 各ショットは、構図 → 被写体 → 環境 → 動作 → カメラ → 音 → 参照した素材が正確にどの瞬間に現れるかの順で描写する。
3. あらすじを書かない。宙に浮いた参照タグを残さない。指定した尺と合わない時間指定を書かない。
4. すべての細部は、見えるか聞こえるかするものに対応していなければならない。「彼女は不安を感じている」は細部ではありません。「彼女は画面の外に目をやり、その一文を言い終えない」が細部です。
5. フィールドの順序は動かさない。

すべてを静かに良くしていくのは 4 番です。マイクかレンズが記録できるものだけで書かれたプロンプトが、モデルの実行できるプロンプトです。

分量について、知っておく価値のある 2 つ

カメラの動きは 1 つではなく 3 つの部分でできています。 公式の語彙は「動きの種類 ＋ 大きさ ＋ 速さ」です。「cinematic camera move」ではなく「slow push-in, small magnitude」と書きます。生成された動画のぼやけた感じは、その多くが曖昧な動きの言葉から来ています。

余白は思っているよりずっとあります。 生成を作るエンドポイントは 7,000 文字までのプロンプトを受け取ります。比較として、Veo のテキスト入力は 1,024 トークンで頭打ちです。3 つのフィールドをきちんと書いても天井には遠く届かないので、音の描写を一節に押し込める理由はありません。