- Dynamic-SUPERB Phase-2: A Collaboratively Expanding Benchmark for Measuring the Capabilities of Spoken Language Models with 180 Tasks [112.8]
命令ベースユニバーサル音声モデルの包括的評価のためのオープンベンチマークであるDynamic-SUPERB Phase-2を提案する。 第1世代をベースとして、この第2バージョンには125の新しいタスクが含まれており、ベンチマークを合計180タスクに拡張している。 評価結果から,どのモデルも良好に動作しなかったことが示唆された。
論文 参考訳（メタデータ） (Fri, 08 Nov 2024 06:33:22 GMT) - Dynamic-SUPERBのPhase2としてタスクが多様化・強化
- 現時点ではデータなどは公開されていないようだが、とても重要なベンチマーク