FLEX(Few-shot Language Evaluation across (X) many transfer types) & FewCLUE(Few-shotなChinese Language Understanding Evaluation Benchmark) : NLPのFew-shotベンチマーク

両報告ともFew-shotに着目したベンチマーク。1つは中国語版であり（ERNIE 3.0でも明らかだが）中国で自然言語処理の研究が盛んなことがわかる。

JGLUE構築中とのことで日本の研究動向にも注目したい。

• FLEX: Unifying Evaluation for Few-Shot NLP [17.4]
  我々はデシデラタを理想的な数ショットのNLPベンチマークとして定式化する。 最初のベンチマーク、公開リーダボード、フレームワークであるFLEXを紹介します。 また、Fewショット学習のためのシンプルだが強力なプロンプトベースモデルであるUniFewも紹介する。
  論文  参考訳（メタデータ）   (Thu, 15 Jul 2021 07:37:06 GMT)
  • https://github.com/allenai/flex がリポジトリ

• FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.2]
  この研究は、中国初の総合的な少ないサンプルでの評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介する。 1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。 次に、最先端のFewショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
  論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 15 Jul 2021 17:51:25 GMT)
  • https://github.com/cluebenchmark/fewclue　がリポジトリ