Expert systemとニューラルネットの組み合わせによる音楽生成

  • MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks [146.6]
    MeloFormは、エキスパートシステムとニューラルネットワークを使用して、音楽形式でメロディを生成するシステムである。 詩やコーラス形式、ロンド形式、変奏形式、ソナタ形式など、様々な形式をサポートすることができる。
    論文  参考訳(メタデータ)   (Tue, 30 Aug 2022 15:44:15 GMT)
    • エキスパートシステムとニューラルネットと新旧の技術を組み合わせたという印象もある音楽生成フレームワーク。楽式の制御はエキスパートシステムで行い、表現力の向上をTransformer系のモデルで行っているよう。
      • 実務上(問題や場所によっては)ルールベースが有効なことは多いので音楽生成のような分野でもそういうことがあるのだろうと感じた。

ROC(Re-creation of Creations)

  • ROC: A New Paradigm for Lyric-to-Melody Generation [158.5]
    ROCはLyric-to-melody生成のための新しいパラダイムであり、世代検索パイプラインを通じて上記の問題に対処する。 ROCは、客観的指標と主観的指標の両方において、従来のニューラルネットワークベースの歌詞からメロディ生成モデルより優れている。
    論文  参考訳(メタデータ)   (Thu, 11 Aug 2022 08:44:47 GMT)

Youling: AIが支援する歌詞作成

  • Youling: an AI-Assisted Lyrics Creation System [72.0]
    本稿では,AIによる歌詞作成システムである Youling について紹介する。 歌詞生成プロセスでは、Youlingは従来の1パスのフルテキスト生成モードとインタラクティブな生成モードをサポートする。 システムは、ユーザーが望まない文や歌詞の言葉を繰り返し修正できるリビジョンモジュールも提供する。
    論文  参考訳(メタデータ)   (Tue, 18 Jan 2022 03:57:04 GMT)
    • GPT-2をベースとした歌詞作成支援システムの提案。30GBの中国語書籍コーパスで学習後、300Kの歌詞コーパスでfine tuningを実施したとのこと。
    • デモシステム利用する案内が論文中に存在(ID等を含むのでここには記載しなかった)

DeepRapper: 深層学習によるラップ生成

  • DeepRapper: Neural Rap Generation with Rhyme and Rhythm Modeling [102.5]
    ラップ生成におけるこれまでの研究は、韻律的な歌詞に重点を置いていたが、ラップ演奏に重要なリズムビートを無視していた。 本稿では,韻とリズムの両方をモデル化可能なトランスフォーマーベースのラップ生成システムであるDeepRapperを開発する。
    論文  参考訳(メタデータ)   (Mon, 5 Jul 2021 09:01:46 GMT)
    • Deep Learningでラップ生成、DeepRapperという面白い報告。
    • 単純な歌詞生成ではなく rhyme and rhythm(韻とリズム)を考慮した生成が可能とのこと。

MusicBERT: 音楽を対象とした事前学習モデル

  • MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training [97.9]
    シンボリック・ミュージックの理解とは、シンボリック・データから音楽を理解することを指す。 MusicBERTは、音楽理解のための大規模な事前訓練モデルである。
    論文  参考訳(メタデータ)   (Thu, 10 Jun 2021 10:13:05 GMT)
    • BERTを音楽を対象に利用、音楽理解タスクでSOTA。マスキング戦略など音楽特有の対応を行っている。