- STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.0]
タスク拡張による自己学習のためのSTraTAを提案する。 実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。 分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
論文 参考訳（メタデータ） (Mon, 13 Sep 2021 19:14:01 GMT)- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。
- Task augmentaionのベースはT5-3Bとのこと。
- SST-2で「ラベル付きデータがクラスごとに8つのSTraTA」が67Kサンプルのfine tuningに匹敵とのことで素晴らしい効果。Few-shotの設定（前述のクラスごとに8サンプル）だとprompt-baseなアプローチやEntailmentタスクに持ち込むアプローチに対しても勝率が高い。
- リポジトリはhttps://github.com/google-research/google-research/tree/master/strata（現状はまだ４０４）
- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。