SpeechT5: 音声情報向けT5

  • SpeechT5: Unified-Modal Encoder-Decoder Pre-training for Spoken Language Processing [77.5]
    本稿では,自己教師付き音声/テキスト表現学習のためのエンコーダ・デコーダ事前学習を探索する統一モーダルなSpeechT5フレームワークを提案する。 SpeechT5フレームワークは共有エンコーダデコーダネットワークと6つのモーダル固有(音声/テキスト)プレ/ポストネットで構成されている。 テキスト情報と音声情報を統一的な意味空間に整合させるため,テキストとテキストをランダムに混合したクロスモーダルベクトル量子化法を提案する。
    論文  参考訳（メタデータ）   (Thu, 14 Oct 2021 07:59:27 GMT)
    • T5に似た事前学習モデルを音声向けに構築、ASR、TTS、VC、SIDなど複数のタスクで効果を確認とのこと。TextlessNLPのような流れに向けた一歩になるのだろうか。
      • ASR: Automatic Speech Recognition
      • TTS: Text-To-Speech
      • VC: Voice Conversion
      • SID: Speaker IDentification

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です