MusicLMとMusicCaps MusicLM: Generating Music From Text [24.5]テキスト記述から高忠実度音楽を生成するモデルであるMusicLMを紹介する。 MusicLMは、階層的なシーケンス・ツー・シーケンス・モデリングタスクとして条件付き音楽生成のプロセスをキャストする。 実験の結果,MusicLMは従来のシステムよりも音質やテキスト記述の順応性が優れていることがわかった。論文 参考訳(メタデータ) (Thu, 26 Jan 2023 18:58:53 GMT) テキストからの音楽生成、hierarchical sequence-to-sequence modelingとテンプレートレス。MusicCapsという名前で音楽とテキストのペアデータセット、55kを公開しているのも素晴らしい プロジェクトサイトはMusicLM (google-research.github.io)、サンプルが聞けてそれっぽいのと歌声が入っているのも面白い。 MusicCapsデータセットはMusicCaps | Kaggleにあり、ライセンスはCC BY-SA 4.0