XMOD(Cross-lingual Modular): 多言語モデルの転移性能の向上

  • Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.5]
    多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
    論文  参考訳(メタデータ)   (Thu, 12 May 2022 17:59:56 GMT)

コメントを残す

メールアドレスが公開されることはありません。