少ないVRAMでH3の長尺動画を作る省メモリ拡張「H3 LongMedia」
30秒でわかる
- VRAM(グラフィックボードの作業用メモリ)が少ないPCでも、H3で長い動画・音声を作れるようにする省メモリ拡張
- メモリ不足で落ちる前に処理量を自動調整する仕組みや、映像を分割して処理する工夫で、8〜16GB程度でも長尺を狙える
- 画像・映像・音声の参照に対応し、声に口の動きを合わせるリップシンクも可能。無料・オープンソース(Apache 2.0)
何が変わった
H3で長い動画を作ろうとすると、VRAM(グラフィックボードが計算に使うメモリ)が足りずに途中で止まりやすいという壁があります。この拡張は、計算の途中データを小分けにして流す方式や、データを軽い形式(INT8など)に圧縮して持つ工夫、映像を分割して処理する方式などで、必要なVRAMを抑えて長尺の生成を可能にします。さらにメモリが尽きそうになる前に処理の規模を自動で調整して、途中で落ちるのを防ぐ仕組みも備えます。複数クリップの計画、映像の一部を参照した編集、ループ生成、そして声に合わせて口を動かすリップシンクにも対応します。
誰に関係する
高価なグラフィックボードを持たず、手持ちのPCでH3の長尺動画に挑戦したい人に向いています。目安は8〜16GBのVRAM(作る長さによる)で、ComfyUIの動的VRAM機能を有効にしておく必要があります。現在の安定版はv0.4.2です。