- XLM-E: Cross-lingual Language Model Pre-training via ELECTRA [46.8]
我々は,多言語コーパスと並列コーパスの両方で,XLM-Eという名前のモデルを事前学習する。 我々のモデルは、様々な言語間理解タスクにおけるベースラインモデルよりもはるかに低コストで性能を向上する。
論文 参考訳（メタデータ） (Wed, 30 Jun 2021 15:45:07 GMT)- 計算コストの低い事前学習モデル。XQuADやPAWS-Xなどcross lingualなタスクで100倍の計算コストがかかるXLM_Rを超える優れた性能。
- Microsoftの成果。そのうち、https://github.com/microsoft/unilm にコードが公開されたりするのだろうか。