線画・ポーズ・奥行きで構図を指定できるSD WebUI拡張「ControlNet」
30秒でわかる
- お手本の線画・人物のポーズ・奥行きを渡して、その構図のまま画像を生成できるStable Diffusion WebUI用の拡張
- 文章だけでは狙えない「このポーズ・この構図で」という指定が可能に。複数の指定を重ねて使うこともできる
- 定番の無料拡張(GPL-3.0)。低VRAMモードなら4GBのグラフィックボードでも動作(GitHub ↗)
何が変わった
画像生成AIは文章での指示が基本ですが、「この人物のポーズで」「この構図で」といった細かい狙いは文章だけでは当てにくいという課題があります。ControlNetは、線画(Canny/HEDなどの輪郭抽出)、人物の姿勢(ポーズ検出)、奥行き(深度マップ)といった「お手本」を渡し、その形どおりに画像を生成させる仕組みです。この拡張はそれをAUTOMATIC1111版のStable Diffusion WebUIに後付けで追加します。お手本の画像を自動で解析する前処理も内蔵し、複数のControlNetを重ねて同時に効かせることもできます。img2imgやインペイント(画像の一部だけ描き直す機能)とも組み合わせられます。
誰に関係する
Stable Diffusionで、狙ったポーズや構図をきっちり再現したい人に向いています。ControlNet 1.0/1.1やT2I-Adapterのモデルに対応し、必要スペックの目安はNVIDIA製グラフィックボード(4GB VRAM＋低VRAMモード)からです。導入はWebUIの拡張機能タブにGitHubのURLを入れて行います。