H3のショットをOKしてから仕上げる段階生成ComfyUI拡張「H3 Relay」
30秒でわかる
- H3の動画づくりを「下書きショット生成 → 気に入ったものだけ仕上げ(高精細化・コマ補間)」の2段階に分けるComfyUI(動画AIを部品でつないで動かす無料ツール)用の拡張
- 重い仕上げ処理は、ショットにOKを出してから走らせるので、ボツにする映像に計算コストをかけずに済む
- 使うメモリは常に1ショット分だけ(本数を増やしても増えない)。作りかけはディスクに保存され、同じ設定なら作り直さずに前の結果を返す。無料・オープンソース(GPL-3.0)
何が変わった
H3で複数ショットの長い動画を作ると、途中の仕上げ処理まで一気に回してしまい、ボツにするショットにも高精細化の計算コストがかかる、本数が増えるほどメモリを食う、といった無駄が出がちです。H3 Relayは工程を分け、まず下書きのショットを生成し、内容にOKを出した後で初めて後段の仕上げ(LTXモデルによる高精細化とコマ間を埋める補間)を走らせます。これにより必要なメモリは処理中の1ショット分に固定され、ショット数が増えても膨らみません。補間はコマを少しずつ重ねながら流す方式で、全フレームを一度にメモリへ抱え込みません。ショットのつなぎは重ねるコマ数(18・35・52・69)を選べます。さらに作業内容をディスクに記録しておき、設定を変えていなければ再実行しても作り直さずにOK済みの結果を返すので、やり直しの待ち時間を減らせます。
誰に関係する
ComfyUIでH3の複数ショット動画を作り、ボツ分の計算やメモリ切れの無駄を減らしたい人に向いています。ローカル(自分のPC)でH3とLTXのモデルを動かせる環境が前提で、モデルファイルは各自でライセンスに従って用意する必要があります。MiniMax公式ではなく第三者(akatz-ai)による拡張です。