コンテンツへスキップ
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [98.7]
AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
論文 参考訳（メタデータ） (Mon, 12 Feb 2024 15:41:22 GMT)
- audio-language なベンチマーク。Foundation benchmark（基礎的タスク、emotion recognition, acoustic scene classification, music QAなど）とChat benchmark（実世界を想定した会話応答）で構成される。評価はGPT-4ベース。
- 「The evaluation code, datasets, and an open leaderboard will be made publicly available soon.」とのことで公開が楽しみ。
- A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI [64.7]
生成AIは様々な分野で印象的な性能を示しており、音声合成は興味深い方向である。 拡散モデルを最も一般的な生成モデルとし、テキストから音声への拡張と音声への拡張という2つのアクティブなタスクを試みている。 本研究は,既存の調査を補完する音声拡散モデルに関する調査を行う。
論文 参考訳（メタデータ） (Sun, 2 Apr 2023 09:27:20 GMT)
- text-to-speechとspeech enhancementを対象とした拡散モデル利用のサーベイ
- Audio Self-supervised Learning: A Survey [60.4]
SSL(Self-Supervised Learning)は、人間のアノテーションを必要とせずに、大規模データから一般的な表現を見つけることを目的としている。 コンピュータビジョンと自然言語処理の分野での成功により、近年では音声処理の分野で採用されている。
論文 参考訳（メタデータ） (Wed, 2 Mar 2022 15:58:29 GMT)- 音声分野でのSelf-supervised Learningをまとめたサーベイ。音声単体だけでなく音声＋Visionのようなマルチモーダルな手法もサーベイ対象となっている。
- XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale [48.0]
XLS-Rはwav2vec 2.0に基づく言語間音声表現学習のための大規模モデルである。 128の言語で50万時間近く、最大2Bパラメータを持つモデルをトレーニングします。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 17 Nov 2021 18:49:42 GMT)
- SpeechT5: Unified-Modal Encoder-Decoder Pre-training for Spoken Language Processing [77.5]
本稿では,自己教師付き音声/テキスト表現学習のためのエンコーダ・デコーダ事前学習を探索する統一モーダルなSpeechT5フレームワークを提案する。 SpeechT5フレームワークは共有エンコーダデコーダネットワークと6つのモーダル固有(音声/テキスト)プレ/ポストネットで構成されている。 テキスト情報と音声情報を統一的な意味空間に整合させるため,テキストとテキストをランダムに混合したクロスモーダルベクトル量子化法を提案する。
論文 参考訳（メタデータ） (Thu, 14 Oct 2021 07:59:27 GMT)- T5に似た事前学習モデルを音声向けに構築、ASR、TTS、VC、SIDなど複数のタスクで効果を確認とのこと。TextlessNLPのような流れに向けた一歩になるのだろうか。
- ASR: Automatic Speech Recognition
- TTS: Text-To-Speech
- VC: Voice Conversion
- SID: Speaker IDentification
- Direct speech-to-speech translation with discrete units [64.2]
本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声to音声翻訳(S2ST)モデルを提案する。 本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
論文 参考訳（メタデータ） (Mon, 12 Jul 2021 17:40:43 GMT)- 以前紹介したNiuTransと同様に直接的な音声翻訳の提案。Transformer型アーキテクチャ、self-supervised、マルチタスクを活用などこちらも様々なテクニックを活用している。（データがあれば）end to endでこの手のシステムが作れるかもしれないとは驚き。