Model & weights

Baixar os pesos do H3 não te entrega o H3 que você vem assistindo

A MiniMax publicou o estágio do meio de um sistema de três. A camada de prompt na frente e a camada 2K atrás são hospedadas, e nenhuma delas é aberta.

7 min de leituraRedaçãoRedação
Baixar os pesos do H3 não te entrega o H3 que você vem assistindo

Os pesos do MiniMax H3 estão no Hugging Face e o download não tem porteiro. Isso é real, e é incomum para um modelo de vídeo neste nível de qualidade. Também é sistematicamente noticiado como «o H3 é código aberto», o que arma uma decepção específica: você puxa 42 GB para dentro do ComfyUI, roda o template oficial, e o resultado não se parece com os clipes que te fizeram querer o modelo.

Não tem nada errado com a sua instalação. Você tem um terço de um sistema.

O formato da coisa

O H3 como serviço roda em três estágios:

your input (text / images / video / audio)

① H3-Context-IR      hosted, not open

② H3-Base            open weights  ← this is what you downloaded

③ H3-Regenerate-2K   hosted, not open

   the 2K file

O estágio ② é o gerador. Ele é genuinamente aberto, genuinamente produz vídeo com áudio estéreo sincronizado, e é a parte difícil do problema. Também é o único estágio que você recebe.

① O Context-IR é a parte que lê o seu prompt direito

O Context-IR pega o que você entregou — uma frase, nove imagens de referência, três clipes de vídeo, uma amostra de áudio — e reescreve numa representação intermediária estruturada que o gerador consome. Ele resolve instruções entre modalidades, calcula a ordem temporal e preenche a semântica que você deixou de fora.

A saída não é uma versão arrumadinha da sua frase. É um documento no nível da tomada, com campos:

  • integrated_multimodal_description — descrição visual por tomada, com marcas de tempo como At 00:04.500
  • overall_soundscape — ambiência e foley
  • non_diegetic_music — trilha, se houver

Trabalhos com referência ganham mais três campos em cima, inclusive uma análise de retenção por arquivo que diz com que rigor cada referência tem de ser segurada.

As contagens de token dos exemplos oficiais mostram quanta escrita esse estágio faz no seu lugar: cerca de 8.600 tokens num trabalho de texto para vídeo, algo como 22.800 em imagem para vídeo, e por volta de 39.300 num trabalho com referência. É nesse documento que o seu prompt de uma linha se transforma antes de o gerador ver qualquer coisa.

Rode os pesos abertos e nada disso acontece. A sua frase entra como a sua frase. O modelo é o mesmo; o briefing é uma fração do tamanho.

A orientação da própria MiniMax é explícita quanto às duas saídas: chamar a API do Context-IR, ou construir a sua própria camada de contexto seguindo a orientação de prompt publicada. Não existe uma terceira opção em que a frase baste.

③ O Regenerate-2K não é um upscaler

Esta é a parte que mais vale entender, porque o nome sugere algo que ela não é.

Um upscaler convencional recebe um quadro pronto em 768p e infere quais deveriam ser os pixels que faltam. Ele não tem mais nada de onde partir, então o detalhe fino — texto pequeno, rostos distantes, textura — é inventado.

O Regenerate-2K devolve o resultado em 768p mais o contexto multimodal original ao H3 e gera de novo em 2K. Ele ainda tem o seu prompt e o seu material de referência, então o detalhe que era pequeno demais para resolver em 768p pode ser reconstruído a partir do que ele deveria ser, em vez de adivinhado a partir do que ele virou.

É por isso que ele é cobrado como geração ($0.05 por segundo de saída, com os arquivos de origem cobrados de novo) e não como pós-produção, e é por isso que «eu faço o upscale local depois» não é a mesma troca.

O que isso significa, conforme o que você está fazendo

Você querOs pesos abertos sãoObservações
Fazer fine-tune com o seu próprio materiala ferramenta certaVocê precisa do estágio ② e de mais nada
Manter o material fora de servidores alheiosquase certosVerdade para o 768p. O passo 2K é uma chamada de rede — veja abaixo
Bater com o que você viu nas demos oficiaisinsuficientesFalta o redator do briefing e o finalizador
Entregar em 2Kimpossível localmenteO Regenerate-2K não tem implementação aberta

Tem uma dobra na segunda linha que passa fácil. Desde o ComfyUI 0.33.1 existem nós de parceiro para o Context-IR e o Regenerate-2K, então um grafo na sua máquina consegue chegar ao 2K. Esses nós rodam nos servidores da MiniMax. Um pipeline local que termina em 2K manda o seu resultado em 768p e o seu material de origem para fora da máquina, o que derruba o principal motivo pelo qual a maioria das pessoas roda em casa.

«Pesos abertos», não «código aberto»

A distinção não é preciosismo aqui, e é na licença que ela morde.

A MiniMax H3 Community License restringe o uso a um «Applicable Territory» que exclui a União Europeia, o Reino Unido, a República da Coreia e os Estados Unidos. A restrição está escrita na primeira frase do acordo, não num anexo — e ela se estende às saídas, então um clipe renderizado num lugar permitido e publicado num lugar excluído também está fora da concessão.

Duas coisas são amplamente mal noticiadas sobre isso:

  1. O acordo tem como escopo o repositório do Hugging Face. Ele rege o checkpoint. Quem nunca baixou os pesos e só chamou a API hospedada não entrou nele — a relação dessa pessoa é com os termos do serviço. A API hospedada está documentada como disponível globalmente.
  2. As regiões excluídas têm um caminho formal. A MiniMax convida pedidos de licença vindos delas e enquadra a restrição como cautela regulatória, não como política: «The current limitation means "not yet", not "not ever."»

Medida contra a Open Source Definition, a licença falha em dois critérios — discriminação contra pessoas ou grupos, e contra campos de atuação. Os pesos são abertos. A licença não é uma licença de código aberto. O rótulo que o próprio Hugging Face dá a ela é other, então quem publicou também não está afirmando o contrário.

Isto é um resumo, não é aconselhamento jurídico. Leia a LICENSE e o Q&A oficial antes de tomar uma decisão que dependa disso.

Antes de baixar 498 GB

Uma última nota prática, já que ela pega as pessoas logo no primeiro passo. O repositório completo tem cerca de 498,5 GB, porque os checkpoints crus e as conversões para diffusers ficam lado a lado. Você quase certamente quer um subconjunto:

O quêTamanho
Repositório inteiro~498,5 GB
Uma partição crua (FL2VA ou Ref2VA)~144 GB
Conjunto compacto FL2VA do ComfyUI~42,5 GB
Acrescentar o Ref2VA a esse conjunto+21 GB

Limite o download ao que o seu framework precisa. E se você está seguindo um guia de ComfyUI, confira a versão que ele mira — um bom tanto deles ainda diz 0.30.0, que trouxe os nós mas não as nove correções do H3 que vieram depois. Use 0.32.0 ou mais recente; duas dessas correções tratam de corrupção de áudio e de pico de memória.

Ou não baixe nada. O gerador de vídeo com IA MiniMax H3 daqui é o caminho hospedado, Context-IR e Regenerate-2K incluídos, que é o que faz a saída dele se parecer com os clipes que te mandaram procurar os pesos.

Redação

Escrito por

Redação

minimax-h3ai.video

Publicado no gerador de vídeo com IA MiniMax H3, uma interface independente, de terceiros, construída sobre o MiniMax H3.

Todos os artigos