生成AIでショートMV(MusicVideo)を作ろう！

前回、Sunoで曲を作ってMVを作りました。

第１弾：お願い、どうして、いかないで

その時点で自分が出来ることでそれなりにクオリティを担保しつつ、生成コストも抑えつついい感じになりました。

ただ、続けていくには制作コストが高いのが問題でした。

全編リップシンクだった

使ってたのは「KlingAI」の「AI アバター(Kling Speak)」。
高品質モード（1080p48fps）、15秒で 120 credits必要。
1 credit≒2.3円計算だと276円くらい。
※標準モード（720p24fps）だとその半分になりますが、
顔が崩れたりリップシンクがいい感じにならなかったりと私的には使えなかったので除外してます。

私の作る曲はだいたい 3:30 くらいで歌唱部分は 2:15 くらい。
なのでフルリップシンクにした場合、最低2,500円くらいかかります。
（2:15 = 135秒。135/15=9。9 x 120credits x 2.3円 ≒ 2,484円）
当然１発で狙い通りにならないため、これよりもっと高額になります。

現時点で収益化は考えていないので、趣味でやるにしてはなかなか高額・・

作業時間が長い

３日フルに使って完成させました。
手探りの状態でやってこれではありましたが、休日をフルで消費するのはちょっとシンドい。

作ったはいいが、フル尺で見ることはほぼない

作った曲はSuno上でヘビロテしてますが、せっかく作ったのにMVはそんなに見てません。
というのも音楽を聴くときは基本作業をするときで映像を見ている暇がないです・・

ということで次に作るものは何かしら改善出来ないか考えてみました。

第２弾：台風警報

まず作るMVをショート動画にすることにしました。
前回のMVも作ったものを切り取ってショート動画を作りましたが、縦型で完全に特化する形にします。

私自身ショート動画自体はほとんど見ませんが、
タイミング的にSuno上でHooksという「ショートMV」機能がリリースされて
そこに投稿するためにも縦型でショートMVを作る流れがきたのでそちらに乗ることにしました。

これにより「リップシンクの金銭的コスト」と「作業時間」を改善。
さらに1分程度ならちょっと休憩するときに見る分にちょうどよく、作ったショートMVを見る習慣もできました。

ショートMVで作るものは前回の記事でもテスト的に作ったこの楽曲。
元々楽器演奏がないMV設定+メンバーの衣装と舞台は決まっていたのでこれを縦型でリメイクすることにしました。
また縦型動画らしく、簡易的ながらユルいフィンガーダンスも入れてみてます。

前回はGeminiで作ったモノがこれ。
画面が暗いし、ボーカルの顔が似ていない・・
なので新たにリファレンスを作り直すところから始めました。

AIが言うことを聞いてくれなくなり、途方にくれます・・

顔の同一性保持に強いSoulIDも使ってみましたが、背景の天気が狙っているモノじゃない・・

体型のテストもしました。これは Thicc。

これは Curvy。

Athletic。アスリートは脱ぎがち・・（ジムの自撮りを参照してる？）

色々繰り返してようやく狙った画になりました。Slender。
柄を入れた場合、生成ごとに変わってしまうのであまり目立たないようなモノを採用しました。

カラーのテストも。
黒がなかなかいい感じだったのですが、葬式で着るモノっぽいので除外としました。
一応こういう文化的なものも気を付けていきたいです。

フィンガーダンス部分は Midjourney で指定したものを適当に繋ぎ合わせています。
なのでリズムにあってないグダグダな出来・・

こちらが完成したショートMV。
当時のメモによると 480円 くらいかかったみたいです。
前回が 2500 円だったので大幅改善。

第3弾：バカげている

台風警報の後に作った楽曲はかなりありますが、曲作成時点でMVのイメージが湧いていた比較的最近の楽曲のショートMVを作ることにしました。

また、このMVを作る前後に「リップシンクを全くしないAI MV」を見つけ、それでもなんとなく成立している雰囲気を出していたのに衝撃を受けて、今回作るMVでは「リップシンクなし」に挑戦します。

楽曲のイメージ。
ガールズバンドを始めてみたものの、それだけでは食べて行けず一旦社会人となる。
いつかバンドだけで食べていけることを夢見て、休日や仕事が終わった後にライブハウスに通う日々。
学生時代にバンドを組んでいた仲間や仕事の同期からは「まだやってるの？バカげている」と言われたり。
「夢を追いかける人の葛藤と、それでも諦めきれない情熱」みたいな感じ。

まずノープランで動画を生成して組んでみました。
（真っ暗画面は動画生成していない部分）

ライブハウスの階段のシーンは結構気に入っていたけど、カメラアングルの調整がうまくいかず。
さらに全体的にちぐはぐになってしまったのでストーリー性もなし。

ということでGeminiにMVを作る相談をする。
歌詞を渡して、今回ショートMVで作る部分はココ、設定や想いを伝えてコンテを作ってもらいます。

で、そのコンテをそのまま画像生成して繋げたのがコレ。
ストーリーが重要なゲームだと採用されていることが多い、動画絵コンテ プレビズ。
私もそれを真似て作ってみました。
Midjourneyで静止画を生成してPremiereProで繋げただけなので追加生成コストは０。

これがかなり強力で完成のイメージが湧いてきたり、Geminiの指示通りに作ったら私が気に入らない部分とかが出てきて修正案がモリモリ出てきました。
やっぱり現物見るのは効果が高い・・！

いろいろ修正して出来上がったのがコレ。

基本はGeminiコンテを網羅していますが、ファンタジーすぎるところは修正しています。
・時計逆回転→その直後の終電のシーンに繋がるようにOL姿でダッシュ
・崩れる壁→やる気のなさそうな感じで楽器屋でアルバイト
・バイト仲間からの連絡でため息→同級生の結婚式のフィードを見つけてため息
・コンビニ→その直後のサビの振りとしてライブハウスの入り口のシーン

夢を追いかけるために犠牲にしているものを表現しつつ、サビのライブシーンで解放する感じには出来たと思います。

ちなみにサビのボーカル部分はリップシンクを何個が試していました。
これはその一例。

リップシンクは綺麗に出来てるものの、動きが少なくサビの爆発力にかけたのでボツとしました。
（顔も微妙に理想から遠い）

まとめ

ショート動画で「楽曲作ってサクッとMV公開したい」というところに近づけたのでモチベーションの維持が出来るようになったのは良かったです。
金銭的にはプレビズを作るおかげで無駄なリップシンク生成も減りました。

また、作成中に「生成AIに渡すプロンプトはAI（Gemini）に考えてもらったほうが確実」という発見があったのはかなり大きいです。
生成ガチャの回数が減ったことにより、作業時間が減ったのも〇。

ということで第一弾を作った頃より少しだけ進化出来ました。やったね！
次はいよいよ「アニメ系MV」に挑戦します。

おまけ

そういえばカメラワークの勉強をしたくてこちらの本を買いました。
映像制作素人にもわかりやすく書かれていて大変勉強になってます。（180°ルールはなんとなくわかっていたけど、30°ルールは知らなかった）

あとは動画生成系で勉強させてもらっているチャンネルが２つ。
１つが「あずきちゃんねる」。
生成AI周りは日々技術が更新されて行ってて追うのが大変ですが、このチャンネルは更新が早く複雑になりすぎない解説でとても助かってます。
私が興味のあるSuno、Seedream、NanoBanana、リップシンク周りの情報が充実。

もう１つが「水紋堂」。
生成AI機能解説チュートリアル系動画がわかりやすく、失敗するところも動画に載っているので「あるあるw」とか「そうやって解決すればいいんだ！」と実際に一緒に制作しているような感じを味わえるのがすごくいい。