KDC : メディアデザイン AI課題制作実習 番外編

生成AIでMV制作
目次

オープンAIが新モデル「Sora」を発表するまでに学習すべき事とは?

映像制作をする上で、今後学習をして置かなければならないであろう映像生成AIについて我々は情報収集を欠かさず、向き合っていかなければならないだろう。今回は、色々な映像生成、楽曲生成、画像生成、文章生成の各ジャンルのAI機能をマッシュアップして、一つのMVを生成する実験を行い課題として提出してもらいたいと思います。

https://openai.com/index/sora

例:各サービスを連携して作成するプロセス

以下に、各AI生成サービスを連携してMV制作する流れの例を説明します。
これは数多あるサービスの中で、クオリティーを追求する中で発見した流れの例の一つなので、その他の選択肢の中にも、もっと良い制作プロセスの流れがあるでしょう。それを見つけていくことも、今後のクリエイターの学習しなければならないジャンルの一つになるかもしれません。

STEP
ChatGPT 4o で作詞を行う

まずはMVの柱となる歌詞(コンセプト)をChatGPT 4oに相談しながら生成を行う。これもアプローチの仕方は色々あると思いますが、プロンプトの例を示します。

プロンプト

#命令文
#条件
・出力は下記の #出力形式 に従って忠実に出力する。
・コード進行と歌詞は下記の #入力文 に忠実に従って作成する。
・コード進行に合わせて、コード進行と同じ小節数で日本語の歌詞も生成して下さい。
#入力文
・曲のジャンル:ほげほげ
・歌詞の内容:ふがふが
・歌詞の雰囲気:ぴよぴよ
#出力形式
【コード進行】

【歌詞】

プロンプト入力例

#命令文 あなたはミュージシャンです。ミュージックビデオのための楽曲を制作して下さい。
#条件
・出力は下記の #出力形式 に従って忠実に出力する。
・コード進行と歌詞は下記の #入力文 に忠実に従って作成する。
・コード進行に合わせて、コード進行と同じ小節数で日本語の歌詞も生成して下さい。
#入力文
・曲のジャンル:和風の楽器と複数のバイオリン
・歌詞の内容:先の見えない今の世の中を暗闇に暗喩で表現し、鏡というキーワードで歌詞を作って下さい。結末は鏡の中の自分自身との戦いであり、世界の幸せな結末とは、それぞれの人々の自制心と心の旅である事を比喩的に歌詞に入れて下さい。
・歌詞の雰囲気:映画のような壮大なストーリー
#出力形式
【コード進行】
[Verse]:
[Verse 2]:
[Chorus]:
[Bridge]:
[Verse 3]:
[Verse 4]:
[Chorus]:
[end]:
【歌詞】
[Verse]:
[Verse 2]:
[Chorus]:
[Bridge]:
[Verse 3]:
[Verse 4]:
[Chorus]:
[end]:

出力結果

【コード進行】
[Verse]: Am | G | F | Em

[Verse 2]: Am | G | F | Em

[Chorus]: C | G | Am | F

[Bridge]: F | G | Em | Am

[Verse 3]: Am | G | F | Em

[Verse 4]: Am | G | F | Em

[Chorus]: C | G | Am | F

[end]: F | G | C

【歌詞】
[Verse]: 闇の中で迷う僕たち
未来の光が見えないまま

[Verse 2]: 影が伸びて問いかける
本当の自分はどこにいるの

[Chorus]: 鏡の中の瞳が揺れて
戦う自分を見つめてる

[Bridge]: 心の旅は終わらない
自制の道を歩むとき

[Verse 3]: 暗闇の中で彷徨う僕たち
希望の光が遠ざかる

[Verse 4]: 鏡の中の影と向き合い
戦う自分を見つめてる

[Chorus]: 鏡の中の瞳が揺れて
戦う自分を見つめてる

[end]: それぞれの幸せは心の旅の果て
STEP
Suno AIで歌詞から作曲を行う

ポイントは生成する際に『Custom Mode』を使用する事です。
これにより3,000文字の歌詞:Lyricsを指定することができます。

無料版では1日5回しか生成にトライできません。また、商用不可です。

Suno aiで使用する歌詞データ

タイトル:心の旅 (Journey of the Heart)

[Verse]: 闇の中で迷う僕たち
未来の光が見えないまま

[Verse 2]: 影が伸びて問いかける
本当の自分はどこにいるの

[Chorus]: 鏡の中の瞳が揺れて
戦う自分を見つめてる

[Bridge]: 心の旅は終わらない
自制の道を歩むとき

[Verse 3]: 暗闇の中で彷徨う僕たち
希望の光が遠ざかる

[Verse 4]: 鏡の中の影と向き合い
戦う自分を見つめてる

[Chorus]: 鏡の中の瞳が揺れて
戦う自分を見つめてる

[end]: それぞれの幸せは心の旅の果て
日本語で生成した場合
日本語を英語にDeepL翻訳かけて生成した場合
STEP
歌詞から映像生成を試す

Kaiber AIで歌詞から映像を生成

月間で5,178円で1曲分ぐらいしか作れないので、少しお高くてすぐ解約してしまいました。もう少し安かったら良いけど、時間もかかるしまだまだな印象。

STEP
生成した映像を元に調整

Runway AIで映像をアレンジして完成させる

ただし15秒の出力が限界

資料

この記事を書いた人

サトウ ケイのアバター サトウ ケイ サンナナ代表

Sunnana Inc. Co-Founder / Creative Director / Projection Mapping Director / Web Producer / Media Art
株式会社サンナナってヘンテコなスペシャリスト集団の代表やってます。お知り合いの方は何屋だお前?って思ってる方もいらっしゃるかと思いますが、デザインと音楽の会社ですよー

目次