タグ: ベンチマーク

Are All the Datasets in Benchmark Necessary?

  • Are All the Datasets in Benchmark Necessary? A Pilot Study of Dataset Evaluation for Text Classification [39.0]
    本稿では,ベンチマーク中のデータセットがすべて必要かどうかについて検討する。 9つのデータセットと36のシステムでの実験では、いくつかの既存のベンチマークデータセットはトップスコアシステムの識別にはほとんど寄与していない。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 4 May 2022 15:33:00 GMT)
    • データセットによってモデルの識別能力に差があり、いくつかのデータセットは能力の高いモデル識別に寄与していないとの報告。
    • 感覚的には自明であり「難しいデータセット」と呼んでいたものはあったが、改めて整理される重要な特性であることが分かる。

GRIT(General Robust Image Task): 頑健性を考慮した画像処理ベンチマーク

  • GRIT: General Robust Image Task Benchmark [32.6]
    本稿では,GRIT(General Robust Image Task)ベンチマークを紹介する。 GRITは、様々な画像予測タスク、概念、データソースにわたるビジョンシステムの性能、堅牢性、キャリブレーションを評価する。 ビジョンモデルによって学習されたスキルや概念を徹底的に評価するための統一プラットフォームを提供することにより、GRITが高性能で堅牢な汎用的なビジョンシステムの開発を促進することを期待する。
    論文  参考訳（メタデータ）   (Thu, 28 Apr 2022 17:13:23 GMT)

WebFace260MとWebFace42M：顔認識データセット

  • WebFace260M: A Benchmark for Million-Scale Deep Face Recognition [89.4]
    我々は、未修正4MのID/260Mの顔(WebFace260M)とクリーン2MのID/42Mの顔(WebFace42M)を含む新しい100万スケールの認識ベンチマークに貢献する。 分散フレームワークは、性能を損なうことなく、顔認識モデルを効率的に訓練するために開発された。 提案したベンチマークは、標準、マスク付き、偏見のない顔認識シナリオにおいて大きな可能性を示している。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 21 Apr 2022 14:56:53 GMT)
    • 非常に大規模な顔画像データセット。WebFace42Mの方は自動的なクリーニング済み。
    • プロジェクトサイトはWebFace260M (face-benchmark.org)、商業利用は不可で研究目的のデータ。

Natural Instructions v2: 自然言語で説明されたタスク

  • Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.1]
    Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Sat, 16 Apr 2022 03:12:30 GMT)
    • 自然言語で説明が付与されたタスク・データセット。
      • 自然言語で命令すればタスクをこなしてくれるモデルの実現が近づいている印象があり、重要なデータセットだと思う。
    • Learning From Instructions (allenai.org)

NumGLUE: 数学的推論のデータセット

  • NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks [37.7]
    8つのタスクでAIシステムの性能を評価するベンチマークであるNumGLUEを提案する。 このベンチマークは、最先端の大規模言語モデルを含むニューラルモデルで解決されるには程遠い。 我々はNumGLUEが言語内で堅牢で一般的な算術推論を行うシステムを促進することを願っている。
    論文  参考訳（メタデータ）   (Tue, 12 Apr 2022 09:36:10 GMT)
    • 以下8タスクからなる数学的推論タスクのデータセット。ベースラインも用意されているがかなり困難なタスクに見える。
      • TASK 1 Commonsense + Arithmetic
      • TASK 2 Domain specific + Arithmetic
      • TASK 3 Commonsense + Quantitative
      • TASK 4 Fill-in-the-blanks
      • TASK 5 RC + Explicit Numerical Reasoning
      • TASK 6 RC + Implicit Numerical Reasoning
      • TASK 7 Quantitative NLI
      • TASK 8 Arithmetic word problems
  • プロジェクトサイトはNumGLUE Dataset — Allen Institute for AI (allenai.org)

Dynatask: ベンチマーク作成用フレームワーク

XTREME-S: クロスリンガルな音声表現ベンチマーク

  • XTREME-S: Evaluating Cross-lingual Speech Representations [75.4]
    XTREME-Sは,言語間の共通言語表現を評価するための新しいベンチマークである。 本稿では,新しいベンチマークについて述べるとともに,音声のみのベースラインと音声テキストのベースラインを確立する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 21 Mar 2022 06:50:21 GMT)
    • speech recognition、speech classification、speech translation、speech retrievalのタスクに対する多言語データセット
    • Huggingfaceからダウンロード可能とのことだが、現時点では404 https://huggingface.co/datasets/google/xtreme_s

SciNLI:科学に関連するテキストのNLI

DUAL(Discrete Unit Adaptive Learning): TextlessなSQA(Spoken Question Answering)

  • DUAL: Textless Spoken Question Answering with Speech Discrete Unit Adaptive Learning [66.7]
    SQA (Spoken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。 既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。 本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
    論文  参考訳（メタデータ）   (Wed, 9 Mar 2022 17:46:22 GMT)
    • Textlessな(音声認識を使わない)SQAフレームワークの提案。データセットとしてNatural Multi-Speaker Spoken Question Answering (NMSQA)も合わせて公開している。
    • ASRを併用するアプローチと競合的な結果で（当たり前ではあるが）ASR品質によっては提案手法が優れていることがあるとのこと。
    • リポジトリはGitHub – DanielLin94144/DUAL-textless-SQA: The official implementation of DUAL textless SQA

対話システムにおける社会的バイアスとCDAIL-BIAS DATASET 

  • Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks [95.3]
    本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
    論文  参考訳（メタデータ）   (Wed, 16 Feb 2022 11:59:29 GMT)
    • 今後ユーザインタフェースとして普及が予想される対話システムにおいて、社内的バイアスの存在が問題視されている。その検出のためのデータセット（中国版）を作成、ベースラインを提供。
    • データセットは今後公開予定とのこと。