タグ: 音楽

• YuE: Scaling Open Foundation Models for Long-Form Music Generation [134.5]
  YuEはLLaMA2アーキテクチャに基づいたオープンファンデーションモデルのファミリーである。 歌詞のアライメント、コヒーレントな音楽構造、適切な伴奏を伴う声楽メロディを維持しながら、最大5分間の音楽を生成する。
  論文  参考訳（メタデータ）   (Tue, 11 Mar 2025 17:26:50 GMT)
• オープンな音楽生成基盤モデルYuEの提案。マルチリンガルな（日本語を含む）歌詞で歌っているデモソングが面白い。かなりのクオリティのモデルが「The YuE model (including its weights) is now released under the Apache License, Version 2.0. We do not make any profit from this model, and we hope it can be used for the betterment of human creativity.」で公開されているのは凄い。
• デモサイトはYuE、リポジトリはGitHub – multimodal-art-projection/YuE: YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open

• Simple and Controllable Music Generation [82.2]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ）   (Thu, 8 Jun 2023 15:31:05 GMT)
• 制御可能な音楽生成、テキストまたはメロディーを条件に与える事が可能。
• リポジトリはGitHub – facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning.

• ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models [54.9]
  拡散モデルを用いて任意のテキストを受信できる最初のテキスト-波形音楽生成モデルを提案する。 インターネットからテキストと音楽のペアのデータセットを収集します。 波形領域で生成された音楽は、多様性、品質、およびテキスト・音楽の関連性において、これまでの作品よりも大幅に優れていた。
  論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 06:27:09 GMT)
• Baiduからの音楽生成モデル（Diffusion Model）の提案。生成系のモデルはテキストや画像（動画）を超えて競争が激化している。

• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.7]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ）   (Wed, 8 Feb 2023 07:27:27 GMT)
• こちらはGoogleからの提案
• Noise2Music (google-research.github.io)

• Pop2Piano : Pop Audio-based Piano Cover Generation [14.9]
  本稿では,Pop2Pianoについて紹介する。Pop2Pianoは,ポップミュージックの波形が与えられたピアノカバーを生成するトランスフォーマーネットワークである。 私たちの知る限りでは、メロディやコード抽出モジュールを使わずに、ポップオーディオから直接ピアノカバーを生成する最初のモデルです。
  論文  参考訳（メタデータ）   (Wed, 2 Nov 2022 05:42:22 GMT)
  • ピアノカバーの自動生成を行うモデルの提案。プロジェクトサイトのサンプルが興味深い
  • プロジェクトサイトはPop2Piano (sweetcocoa.github.io)

• MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks [146.6]
  MeloFormは、エキスパートシステムとニューラルネットワークを使用して、音楽形式でメロディを生成するシステムである。 詩やコーラス形式、ロンド形式、変奏形式、ソナタ形式など、様々な形式をサポートすることができる。
  論文  参考訳（メタデータ）   (Tue, 30 Aug 2022 15:44:15 GMT)
  • エキスパートシステムとニューラルネットと新旧の技術を組み合わせたという印象もある音楽生成フレームワーク。楽式の制御はエキスパートシステムで行い、表現力の向上をTransformer系のモデルで行っているよう。
    • 実務上（問題や場所によっては）ルールベースが有効なことは多いので音楽生成のような分野でもそういうことがあるのだろうと感じた。
  • プロジェクトサイトはMeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks (ai-muzic.github.io)