Crosslingual Generalization through Multitask Finetuning
Crosslingual Generalization through Multitask Finetuning [80.9] マルチタスク誘導ファインチューニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。 論文参考訳（メタデータ） (Thu, 3 Nov 2022 13:19:32 GMT)
Multitask prompted finetuningの多言語への適用について詳細に調べた論文。「We conjecture that the models are learning higher-level capabilities that are both task- and languageagnostic.」は非常に興味深い（と同時に驚き）。