- ZeroGen: Efficient Zero-shot Learning via Dataset Generation [28.5]
柔軟で効率的なゼロショート学習手法であるZeroGenについて検討する。 ゼロショットタスクが与えられた場合、まず、教師なしの方法で PLM を用いて、スクラッチからデータセットを生成する。 テキスト分類、質問応答、自然言語推論といった異なるNLPタスクの実験と分析は、ZeroGenの有効性を示している。
論文 参考訳（メタデータ） (Wed, 16 Feb 2022 08:18:02 GMT)- 大規模生成モデルから知識を引き出し（データセットを作成し）それよりも小さなモデルで再現するアプローチの論文。Text classificationの結果は良いがSQuADなど教師有りとのパフォーマンス差があるタスクもあるとのこと。
- このアプローチが有望であるとの報告は多いが、上記ギャップの理由が知りたいところ。
- 大規模生成モデルから知識を引き出し（データセットを作成し）それよりも小さなモデルで再現するアプローチの論文。Text classificationの結果は良いがSQuADなど教師有りとのパフォーマンス差があるタスクもあるとのこと。