マルチリンガルな大規模事前学習モデル、低コストなBERT ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation [80.2]ProphetNetは、事前トレーニングベースの自然言語生成方法です。 ProphetNetを他のドメインや言語に拡張し、ProphetNetファミリープレトレーニングモデルであるProphetNet-Xを提示する。 実験では,ProphetNet-Xモデルが10ベンチマークで新しい最先端性能を実現する。論文 参考訳（メタデータ） (Fri, 16 Apr 2021 10:00:43 GMT)ProphetNet 系のマルチリンガルモデル。ベンチマーク結果からはかなり強力と思われる。 How to Train BERT with an Academic Budget [19.2]大規模な言語モデルBERT は、NLP で普遍的に使用されていますが、事前トレーニングは、少数のよく資金提供された業界ラボでしか利用できない高級品とみなされます。 低レンジの12GBGPUを8台のみ使用しマスク付き言語モデルを24時間でプリトレーニングするレシピを提案する。論文 参考訳（メタデータ） (Thu, 15 Apr 2021 18:17:12 GMT) Nvidia Titan-V GPU×8でのBERTトレーニングも低コストではないもののかなり現実的。ただ、低コスト性という意味ではColabでと思わなくはない。