2021年7月2日 – arXiv最新論文の紹介

Cross-lingual Transferにおける英語以外の有効性

Revisiting the Primacy of English in Zero-shot Cross-lingual Transfer [39.4]
ゼロショット・クロスランガル・トランスファーは実用的な解決策として浮上している。人気のあるゼロショットベンチマークによって強化されたように、英語は転送のための主要なソース言語である。ドイツ語やロシア語のような他の高リソース言語は、より効果的に転送されることがよくあります。
論文参考訳（メタデータ） (Wed, 30 Jun 2021 16:05:57 GMT)
- ゼロショットで多言語モデルを構築する場合は英語をベースにすることが多いがドイツ語やロシア語が有効なことがあるという興味深い報告。特にターゲットの言語が多様な場合に有効とのこと。機械翻訳を行ってなお有効とのことで意外な結果。事前学習モデルの性質なのか、言語特性によるものなのか非常に面白い。

XLM-E: Cross-lingual Language Model Pre-training via ELECTRA [46.8]
我々は,多言語コーパスと並列コーパスの両方で,XLM-Eという名前のモデルを事前学習する。我々のモデルは、様々な言語間理解タスクにおけるベースラインモデルよりもはるかに低コストで性能を向上する。
論文参考訳（メタデータ） (Wed, 30 Jun 2021 15:45:07 GMT)
- 計算コストの低い事前学習モデル。XQuADやPAWS-Xなどcross lingualなタスクで100倍の計算コストがかかるXLM_Rを超える優れた性能。
- Microsoftの成果。そのうち、https://github.com/microsoft/unilm　にコードが公開されたりするのだろうか。

AutoNovel: Automatically Discovering and Learning Novel Visual Categories [138.8]
一部のクラスをラベル付けしたイメージコレクションにおける新しいクラス発見問題に対処するため,AutoNovelと呼ばれる新しいアプローチを提案する。我々はAutoNovelを標準分類ベンチマークで評価し、新しいカテゴリー発見の手法をかなり上回っている。
論文参考訳（メタデータ） (Tue, 29 Jun 2021 11:12:16 GMT)
- モデル構築済みの条件下で新たなクラスを発見する研究。ラベル付きデータ＋ラベル無しデータでself-supervised learning、ラベル付きデータでモデル構築、このモデルをラベル無しデータのクラスタリングに利用、新たなクラス数の推定というステップのよう。
- コード等はhttps://www.robots.ox.ac.uk/~vgg/research/auto_novel/から確認可能。