- MAQA: A Multimodal QA Benchmark for Negation [12.1]
マルチモーダル学習は、事前学習された大規模言語モデル(LLM)の表現力の恩恵を受けることができる 本稿では,AudioSetのラベル付き音楽ビデオから適応したマルチモーダル質問応答(QA)ベンチマークを提案する。 モデルサイズに関わらず,マルチモーダル変圧器の標準的な微調整手法では,否定を正しく解釈することができないことを示す。
論文 参考訳（メタデータ） (Mon, 9 Jan 2023 10:11:23 GMT) - 現状のモデルが苦手とする否定表現に対応するためのタスク拡張手法の提案。テンプレートベースのタスク拡張に比べてPaLMを利用した場合のほうが性能が良く、大規模言語モデルを併用した戦略は良く機能するよう。
- 構築したデータセットは公開予定とのこと
タグ: Task Augmentation
STraTA(Self-Training with Task Augmentation): タスク拡張による自己学習
- STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.0]
タスク拡張による自己学習のためのSTraTAを提案する。 実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。 分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
論文 参考訳（メタデータ） (Mon, 13 Sep 2021 19:14:01 GMT)- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。
- Task augmentaionのベースはT5-3Bとのこと。
- SST-2で「ラベル付きデータがクラスごとに8つのSTraTA」が67Kサンプルのfine tuningに匹敵とのことで素晴らしい効果。Few-shotの設定（前述のクラスごとに8サンプル）だとprompt-baseなアプローチやEntailmentタスクに持ち込むアプローチに対しても勝率が高い。
- リポジトリはhttps://github.com/google-research/google-research/tree/master/strata（現状はまだ４０４）
- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。