- Entailment as Few-Shot Learner [20.7]
プリトレーニング済みの小さな言語モデルを、より優れた少人数学習者に変える新しいアプローチを提案します。 このアプローチの鍵となる考え方は、潜在的NLPタスクをentailmentタスクに再構成し、モデルを8つの例で微調整することである。 提案手法は, (i) 教師なしのコントラスト学習に基づくデータ拡張法と自然に組み合わされ, (ii) 多言語限定学習に容易に拡張できることを示す。 18 の標準 NLP タスクの体系的評価は,既存の SOTA 数ショット学習手法を 12 % 改善し,GPT-3 などの500 倍のモデルで競合的な数ショット性能が得られることを示す。
論文 参考訳（メタデータ） (Thu, 29 Apr 2021 22:52:26 GMT)- 自然言語関連の様々なタスクをうまく変換し、含意タスクとして解くという論文。汎用的なエンジンに近づいていく方向性のように思える。