日: 2022年1月18日

CommonsenseQA 2.0: ゲーミフィケーションにより収集されたQAデータセット

  • CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.9]
    現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
    論文  参考訳（メタデータ）   (Fri, 14 Jan 2022 06:49:15 GMT)
    • 高品質なデータを収集するため「AIを打ち負かす」ゲーミフィケーションを用いてベンチマークを構築。最善のモデル（11BパラメータのUNICORN）でも人間に比べて大幅にスコアが低い難しいデータセットとのこと。
    • プロジェクトサイトはExposing the limits of AI through Gamification | CommonsenseQA 2.0 (allenai.github.io)、データのライセンスはCC-BYとのこと。

Multilingual Machine Translationの実践的アプローチ

  • Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning [48.2]
    数百の言語をカバーする多言語機械翻訳モデルを構築するための実践的なアプローチを提案する。 私たちは、異なる言語ペアのデータ可用性に応じて、教師付きと自己監督型の目的の混合を使用します。 この2つのトレーニングパラダイム間の相乗効果により、ゼロリソース設定で高品質な翻訳を生成できることを実証する。
    論文  参考訳（メタデータ）   (Thu, 13 Jan 2022 18:09:08 GMT)
    • 多言語機械翻訳モデルの実現に向けた様々な実験結果が参考になる。モデルが対応する言語数の増減、linguistic similarityを考慮した増減、パラ / モノリンガルデータ数が与える影響、ドメイン相違の影響、pretraining / finetuning / co-training / iterative back translationなど学習方法の影響など様々な観点があり興味深い。