- The Flan Collection: Designing Data and Methods for Effective Instruction Tuning [118.7]
本研究は,Flan 2022の開発を壊し,一般公開された指導チューニング手法の設計決定について検討する。 タスクバランスやエンリッチメントの手法は見過ごされがちだが、効果的な指導チューニングには不可欠である。 インストラクションチューニングの研究を加速するために、データセット、テンプレート、メソッドのFlan 2022コレクションを公開しています。
論文 参考訳(メタデータ) (Tue, 31 Jan 2023 15:03:44 GMT) - instruction tuningに関するコレクションとそれと使って構築したモデルに関する論文。 Flan-T5 XL は過去のモデル(GLM 130BやOPT-175Bなど巨大モデル含)を超える性能。
- リポジトリはFLAN/flan/v2 at main · google-research/FLAN · GitHub