2021年9月29日 – arXiv最新論文の紹介

FewNLU: Few-Shotな自然言語理解タスクの評価フレームワーク

FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.9]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文参考訳（メタデータ） (Mon, 27 Sep 2021 00:57:30 GMT)
- Few-shot性能を評価するためのフレームワークを提案。データ分割戦略、ハイパーパラメータの扱い（promptの扱い）など様々な側面で検討を行っている。
  - （k-fold CVよりMulti Splitの方が良いのはやや意外）
- リポジトリはhttps://github.com/THUDM/FewNLU、プロジェクトサイトはhttps://fewnlu.github.io/でリーダーボードも存在。

XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge [31.8]
言語間事前学習は単言語とバイリンガルの平文コーパスを用いて大きな成功を収めた。本稿では,事前学習に多言語知識を取り入れたクロス言語モデルXLM-Kを提案する。
論文参考訳（メタデータ） (Sun, 26 Sep 2021 11:46:20 GMT)
- 多言語プリトレーニングをMasked Entity Prediction TaskとObject Entailment Taskで強化、言語間の転移性能が向上したとの報告。mBERTやXLM-Rを上回る性能。