コンテンツへスキップ
- The Flan Collection: Designing Data and Methods for Effective Instruction Tuning [118.7]
本研究は,Flan 2022の開発を壊し,一般公開された指導チューニング手法の設計決定について検討する。 タスクバランスやエンリッチメントの手法は見過ごされがちだが、効果的な指導チューニングには不可欠である。 インストラクションチューニングの研究を加速するために、データセット、テンプレート、メソッドのFlan 2022コレクションを公開しています。
論文 参考訳（メタデータ） (Tue, 31 Jan 2023 15:03:44 GMT)
- instruction tuningに関するコレクションとそれと使って構築したモデルに関する論文。 Flan-T5 XL は過去のモデル（GLM 130BやOPT-175Bなど巨大モデル含）を超える性能。
- リポジトリはFLAN/flan/v2 at main · google-research/FLAN · GitHub
- Scaling Instruction-Finetuned Language Models [126.5]
命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。 命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
論文 参考訳（メタデータ） (Thu, 20 Oct 2022 16:58:32 GMT)- 1,836のタスクでfine tuning（instruction finetuning）することで様々なタスクに対する性能が向上したとする論文。PaLMに対してinstruction fine tuningを行ったFlan-PaLM 540BはもともとのPaLMを大幅に性能改善し、five-shot MMLUでSoTA。使用するタスクサイズが増えるほど性能向上傾向がみられるが、282タスクで概ね頭打ちになっている
- それ以上増やしても新たな知識を提供していないのでは？もしくは言語モデル内の知識を表現するために一定以上のタスクは役に立たないのでは？との指摘があるが、新たな知識・情報を提供するための条件にめっちゃ興味がある。
- 下記にFlan-T5のチェックポイントが公開されている。PaLM 62Bよりfew-shot性能が優れているとのこと。