XGLM(multilingual Generative Language Models): 多言語モデルでのFew-shot

  • Few-shot Learning with Multilingual Language Models [66.5]
    多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
    論文  参考訳(メタデータ)   (Mon, 20 Dec 2021 16:52:35 GMT)
    • 多言語対応モデルを新たに構築、優れた性能を発揮。非常に広範なデータで検証を行っており興味深い結果となっている。
    • 日本語のデータも相応に入っており対応しているものと思われる。が、評価に使えるデータセットがXWinograd、PAWS-Xなど少なく状況が判別しにくい(モデルは公開されているようなので色々試してみるしかなさそう)
    • リポジトリはfairseq/examples/xglm at main · pytorch/fairseq · GitHub

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です