YuEでできることまとめ:歌詞と雰囲気の指定から歌モノをまるごと作れるオープン音楽生成AI
30秒でわかる
- 特に自分のPCで動かせる歌モノ(ボーカル入りの曲)の生成に強いオープンな音楽生成AI
- 歌詞と「どんな雰囲気の曲か」を文章で渡すと、歌声+伴奏の一曲を作ってくれる(研究チームM-A-Pが公開)
- モデルは無料でダウンロードできるが、ライセンスは非商用(CC BY-NC)。仕事での利用は要確認
何が変わった
「YuE(ユー)」は、歌詞と曲の雰囲気(ジャンルや楽器の指定)を文章で伝えると、歌声と伴奏がそろった一曲をまるごと生成する音楽生成AIです。研究グループ M-A-P が開発し、モデルのデータ(重み)をHugging Faceで無料公開しています。SunoやUdioのようなブラウザで使うサービスとは違い、自分のPC(対応するGPU)にダウンロードして動かせるのが特徴です。楽器の音色や歌のスタイルを言葉で指定でき、既存の曲を別ジャンルに作り替えるといった使い方も想定されています。ただし公開されている重みは非商用ライセンス(CC BY-NC 4.0)で、無料で試したり個人で楽しむのは自由でも、商用利用には作者の許可が要ります。動かすにはそれなりの性能のGPUが必要な点にも注意してください。
誰に関係する
自分の環境で音楽生成AIを動かして試したい人、歌モノを手軽に作ってみたい人に向いています。一方で、対応GPUの準備が要り、作った曲を仕事や販売に使うにはライセンスの確認が必要なので、まずは個人利用から試すのが無難です。