- AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model [25.9]
マルチリンガルな大規模シーケンス・ツー・シーケンス(seq2seq)モデルは、様々なタスクにおけるデコーダのみのモデルよりも、より効率的であることを示す。 我々は、Alexa Teacher Model (AlexaTM 20B)と呼ばれる200億のパラメータのSeq2seqモデルをトレーニングし、1ショットの要約タスクで最先端(SOTA)のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (Tue, 2 Aug 2022 13:30:07 GMT)- 大規模なマルチリンガルseq2seqモデルの提案、要約タスクでSoTAとのこと。
- リポジトリはGitHub – amazon-research/alexa-teacher-models