XY-LENT: X-Y bitext enhanced Language ENcodings using Transformers

  • Beyond English-Centric Bitexts for Better Multilingual Language Representation Learning [99.4]
    我々は、新しいサンプリング戦略と組み合わさって、英語中心のbitextsを超えることによって、モデルサイズにおけるパフォーマンスが大幅に向上することを示す。 XY-LENT XL は XLM-RXXL より優れ,mT5 XXL との競合性能は5倍,6倍小さい。
    論文  参考訳(メタデータ)   (Wed, 26 Oct 2022 17:16:52 GMT)
    • mBERTやXLM-Rより優れた多言語モデルの提案

Dial2vec