コンテンツへスキップ
- Finetuned Language Models Are Zero-Shot Learners [67.7]
命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
論文 参考訳（メタデータ） (Fri, 3 Sep 2021 17:55:52 GMT)- 効率的に自然言語で命令を記載可能な事前学習モデルを構築、GPT-３のFew-shotを上回る性能を出したとの報告。62個のデータセットを12種類のタスククラスタに分類、自然言語で書かれた命令を使いタスクを記述するためのテンプレートを手動で作成して学習データを構築。137BパラメータのTransformer（2.81T BPE tokenのWebドキュメント、対話データ、Wikipediaで事前学習済み、10%が英語以外）でモデルを構築したとのこと。読解タスクではprompt engneering無しでfew-shotのGPT-3を上回る結果を出している。一方で翻訳タスクではfew-shotのGPT-3を下回っているようで事前学習モデルの言語の偏りに影響されているように見える。
- 自然言語で指示可能とか未来を感じる結果、そして規模が非常に大きい。