タグ: ベンチマーク

FewNLU: Few-Shotな自然言語理解タスクの評価フレームワーク

  • FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.9]
    本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。 評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
    論文  参考訳（メタデータ）   (Mon, 27 Sep 2021 00:57:30 GMT)
    • Few-shot性能を評価するためのフレームワークを提案。データ分割戦略、ハイパーパラメータの扱い（promptの扱い）など様々な側面で検討を行っている。
      • （k-fold CVよりMulti Splitの方が良いのはやや意外）
    • リポジトリはhttps://github.com/THUDM/FewNLU、プロジェクトサイトはhttps://fewnlu.github.io/でリーダーボードも存在。

NOAHQA(Numerical reasOning with interpretAble grapH QA dataset): 数値推論を必要とするバイリンガルQAデータセット

  • NOAHQA: Numerical Reasoning with Interpretable Graph Question Answering Dataset [26.8]
    数値推論を必要とする質問をバイリンガルなQAデータセットであるNOAHQAを紹介する。 我々は,NOAHQA上で既存のQAデータセットを用いてトレーニングした最先端QAモデルを評価し,その中の最良のものが55.5のEMスコアしか達成できないことを示す。 また、推論グラフの計量値が人間に比べて大きなギャップを持つような推論グラフを生成するための新しいQAモデルを提案する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 22 Sep 2021 09:17:09 GMT)
    • 算数の文章題のような数値推論を必要とするQAを含むバイリンガル（英語、中国語）のデータセットを提案。データ数は約20K。先端的な構造を使っても人間とのパフォーマンス差が大きいと報告。

RobustART: 画像処理理の頑健性に関するベンチマーク/API

  • RobustART: Benchmarking Robustness on Architecture Design and Training Techniques [170.3]
    ディープニューラルネットワーク(DNN)は敵の雑音に弱い。 アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。 本稿では,ImageNet上での包括性調査ベンチマークを提案する。
    論文  参考訳（メタデータ）   (Wed, 15 Sep 2021 08:15:57 GMT)
    • ImageNetをベースにした頑健性に関するベンチマーク/APIの提案。成果自体も有用だと思うが、最新のものを含む既存アーキテクチャやテクニックを幅広く分析しており非常に参考になる内容。
    • 広範な分析を行った結果「①TransformerとMLP-MixerではAdversarial Trainingで扱っているノイズ（natural, system, adversarial noise）に対する頑健性、精度が向上する。」「②同程度のサイズであればnatural noiseとsystem noiseに対してはCNN > Transformer > MLP-Mixerの順で頑健、adversarial noiseに対してはTransformer > MLP-Mixer > CNNの順に頑健」「③ほぼすべてのモデルについてモデルサイズの増加でよりロバストになる。ただし、軽量化を狙ったアーキテクチャ（EfficientNetやMobileNetV2/V3）の一部はロバスト性が向上しない」がわかったとのこと。
      • CNNとTransformerの比較結果は局所的な特徴量に強いCNNと大域を見れるTransformerの差異によるものだろうか。モデルサイズが大きくなるとよりロバストになるというのは過去にも指摘されていたが、軽量モデルではそれが当てはまらないというのも中身を詳細に分析したくなる。大規模の比較なのでほかにもモデル間の差異がありそうで面白い。
    • プロジェクトサイトはhttp://robust.art/

M5Product: 600万以上のマルチモーダルデータセット

  • M5Product: A Multi-modal Pretraining Benchmark for E-commercial Product Downstream Tasks [94.8]
    我々は600万以上のマルチモーダルペアからなるM5Productという大規模データセットをコントリビュートする。 M5Productには、画像、テキスト、テーブル、ビデオ、オーディオなど、複数のモードの豊富な情報が含まれている。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 9 Sep 2021 13:50:22 GMT)
    • e-コマースの画像、テキスト、テーブル、ビデオ、オーディオを含む6M件と大規模なマルチモーダルデータセット。このデータをもとにした検索・分類・クラスタリングなどのタスクで優れた性能を出すM5-MMTをベースラインとして提案。
    • プロジェクトサイトはhttps://xiaodongsuper.github.io/M5Product_dataset/

最近公開化された画像-テキスト 4億ペアからなるLAION-400M などマルチモーダルな大規模データセットが公開されるのは非常にありがたい。

Lyra: Turducken-Styleのコード生成ベンチマーク

  • Lyra: A Benchmark for Turducken-Style Code Generation [15.8]
    ソフトウェア開発では、あるプログラミング言語が別のプログラミング言語に埋め込まれることが多い。 本稿では、自然言語のコメントを前提として、組み込み言語でプログラムを生成することを目的とした新しいコード生成タスクを定義する。 私たちの知る限り、これが最初のturduckenスタイルのコード生成タスクです。
    論文  参考訳（メタデータ）  参考訳（全文）  (Fri, 27 Aug 2021 07:22:55 GMT)
    • Pythonコードの中にSQLが入るなど、あるプログラミング言語の中に別のプログラミング言語のコードが入っているスタイルを Turducken-Styleと呼び、その生成タスクとデータセットを提案している。 400時間かけて作った中国語と英語のコメントに対応する2,000件のスニペットが含まれるということで価値のあるデータだと思う。
    • リポジトリはhttps://github.com/LIANGQINGYUAN/Lyra

BID(Blind Image Decomposition)タスクのベンチマーク

  • Blind Image Decomposition [53.8]
    本稿では,Blind Image Decomposition (BID)について述べる。 雨のような重畳された画像を異なるソースコンポーネントに分解する方法は、現実世界の視覚システムにとって重要なステップだ。 本稿では,Blind Image Decomposition Network (BIDeN) を提案する。
    論文  参考訳（メタデータ）   (Wed, 25 Aug 2021 17:37:19 GMT)
    • 雨や靄など重ねあった画像を分離するタスクの提案。プロジェクトサイトの画像が分かりやすい。この論文では「Mixed image decomposition across multiple domains（ドメインの異なる画像を混ぜたものからの分解）」「Real-scenario deraining（CityScapeデータセットの画像に雨や水滴、雪のマスクを適用したものを分解）」「Joint shadow/reflection/watermark removal（SRD、ISTDをベースとしてreflectionを適用、watermark部分はLVW）」と3つのタスクを提案、BIDeNというベースラインを構築している。
    • プロジェクトサイトはhttps://junlinhan.github.io/projects/BID.html、リポジトリはhttps://github.com/JunlinHan/BID

GNNをトリック込みで評価するベンチマーク

  • Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.3]
    ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
    論文  参考訳（メタデータ）   (Tue, 24 Aug 2021 05:00:37 GMT)
    • deep graph neural networksのトレーニングは難しく、skip connections、graph normalization、random droppingなど様々なテクニックが用いられている。それらを込みで評価するベンチマークを提案。
    • リポジトリはhttps://github.com/VITA-Group/Deep_GCN_Benchmarking

InferWiki: Knowledge Graph Completion（知識グラフの補完）データセット

  • Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion [79.1]
    InferWikiは推論能力、仮定、パターンの既存のベンチマークを改善している。 各テストサンプルは、トレーニングセットの支持データで予測可能である。 実験では,大きさや構造が異なるInferWikiの2つの設定をキュレートし,比較データセットとしてCoDExに構築プロセスを適用する。
    論文  参考訳（メタデータ）   (Tue, 3 Aug 2021 09:51:15 GMT)
    •  Link Prediction、Triple Classificationタスクを想定したデータセットとベンチマークの提案。既存データセットには予測不可能なtripleや意味のないtripleがあり、構築プロセスに問題があると指摘。予測可能性を保証するため学習/テストデータをランダムスプリットにより作るのではなく一定のルールによりスプリット、手動でアノテーションされたnegativeやunknownの情報を提供、様々な推論パターンを加えるなど工夫したデータセットになっているとのこと。
    • リポジトリはhttps://github.com/TaoMiner/inferwiki

MultiBench: マルチモーダルなベンチマーク

  • MultiBench: Multiscale Benchmarks for Multimodal Representation Learning [87.2]
    MultiBenchは15のデータセット、10のモダリティ、20の予測タスク、6の研究領域にまたがる、体系的で統一されたベンチマークである。 データローディング、実験的なセットアップ、モデル評価を簡素化し、標準化する、エンドツーエンドの自動機械学習パイプラインを提供する。 大規模なマルチモーダルデータセットに対するロバストネスや、現実的な不完全性に対するロバストネスなど、将来の研究に対する影響の高い課題が紹介されている。
    論文  参考訳（メタデータ）   (Thu, 15 Jul 2021 17:54:36 GMT)
  • マルチモーダルなベンチマーク。扱われている領域とデータセットは下記の通り。データの概要はhttps://cmu-multicomp-lab.github.io/multibench/datasets/に詳しい。
    • Affective computing: MUStARD, CMU-MOSI, UR-FUNNY, CMU-MOSEI
    • Healthcare: MIMIC
    • Robotics: MuJoCo Push, Vision & Touch
    • Finance: Stocks-food, Stocks-health, Stocks-tech
    • HCI: ENRICO
    • Multimedia: AV-MNIST, MM-IMDb, Kinetics400-S, Kinetics400-L
  • 評価はPerformance、Complexity、Robustnessで行われるとのこと。Learderboardがどうなるか楽しみ。
  • https://cmu-multicomp-lab.github.io/multibench/ と https://github.com/pliang279/MultiBench が公式サイト＆リポジトリ

FLEX(Few-shot Language Evaluation across (X) many transfer types) & FewCLUE(Few-shotなChinese Language Understanding Evaluation Benchmark) : NLPのFew-shotベンチマーク

両報告ともFew-shotに着目したベンチマーク。1つは中国語版であり（ERNIE 3.0でも明らかだが）中国で自然言語処理の研究が盛んなことがわかる。

JGLUE構築中とのことで日本の研究動向にも注目したい。

  • FLEX: Unifying Evaluation for Few-Shot NLP [17.4]
    我々はデシデラタを理想的な数ショットのNLPベンチマークとして定式化する。 最初のベンチマーク、公開リーダボード、フレームワークであるFLEXを紹介します。 また、Fewショット学習のためのシンプルだが強力なプロンプトベースモデルであるUniFewも紹介する。
    論文  参考訳（メタデータ）   (Thu, 15 Jul 2021 07:37:06 GMT)
  • FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.2]
    この研究は、中国初の総合的な少ないサンプルでの評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介する。 1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。 次に、最先端のFewショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 15 Jul 2021 17:51:25 GMT)