- Multitask Prompted Training Enables Zero-Shot Task Generalization [70.1]
本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
論文 参考訳（メタデータ） (Fri, 15 Oct 2021 17:08:57 GMT)- PromptSourceという170以上のデータセットを用いて、T5をマルチタスクでfine tuning、9/11個のデータセットでGPT-3のパフォーマンスと一致 or 上回るスコア。大規模な言語モデルが苦手とするタスクを集めたBIG-bench（のサブセット）でもより大きな言語モデルよりも優れた性能を発揮。
- 25以上の組織から40人以上が関わっているとのことで本当にBigScience。
- リポジトリはhttps://github.com/bigscience-workshop/promptsource/、デモはhttps://huggingface.co/bigscience/T0pp、公式のtweet（https://twitter.com/BigscienceW/status/1450084553670938625）も参考になる。