- MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model [17.6]
一つの多言語ドメイン固有モデルが一般的な多言語モデルより優れていることを示す。 本稿では,言語モデルがドメイン固有かつ多言語的になるような事前学習コーパスを構成するための様々な手法を提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 14 Sep 2021 11:50:26 GMT)- 金融やバイオなどあるドメイン固有の処理を行う多言語モデルを構築する場合、多言語ドメイン固有な事前学習（アダプト）を行うことが有効とした論文。様々なパターンで性能比較が行われており参考になる。（各言語のモデルを構築せずとも）固有ドメイン・多言語の統一モデルに意義があるとされているのが興味深い。
- リポジトリはhttps://github.com/RasmusKaer/mDAPT_supplements、https://github.com/mahartmann/mdapt
投稿者: staka
STraTA(Self-Training with Task Augmentation): タスク拡張による自己学習
- STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.0]
タスク拡張による自己学習のためのSTraTAを提案する。 実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。 分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
論文 参考訳（メタデータ） (Mon, 13 Sep 2021 19:14:01 GMT)- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。
- Task augmentaionのベースはT5-3Bとのこと。
- SST-2で「ラベル付きデータがクラスごとに8つのSTraTA」が67Kサンプルのfine tuningに匹敵とのことで素晴らしい効果。Few-shotの設定（前述のクラスごとに8サンプル）だとprompt-baseなアプローチやEntailmentタスクに持ち込むアプローチに対しても勝率が高い。
- リポジトリはhttps://github.com/google-research/google-research/tree/master/strata（現状はまだ４０４）
- まずはNatural Language Inference モデルを構築し大量の合成データを作成（Task augmentation）、ラベル付きデータと疑似的なラベル付きデータを用いて反復的にモデルを構築・改善する（Self-Training）方針。各イテレーションはTask Augmentaionによる補助モデルから始め、広い分布の疑似ラベルデータを使用するとのこと。
言語モデルのデトックス
- Challenges in Detoxifying Language Models [44.5]
大規模言語モデル(LM)は極めて流動的なテキストを生成し、NLPタスクに効率よく適応できる。 安全性の観点から生成したテキストの品質の測定と保証は、実世界におけるLMのデプロイに不可欠である。 我々は, 自動評価と人的評価の両方に関して, いくつかの毒性軽減戦略を評価した。
論文 参考訳（メタデータ） (Wed, 15 Sep 2021 17:27:06 GMT)- 大規模言語モデルから攻撃的なテキストなど問題のある部分を除く無毒化の研究報告。毒性スコアを効果的に減少させる手法は存在するが、そもそも何を問題のあるテキストとみなすか？という問いが未解決であるとの指摘は重い。また、毒性スコアを下げる対応によって社会的バイアスの増加（疎外されているグループに対する精度劣化）が起きる可能性があることは注意すべき事項であると思う。
GD-VCR(Geo-Diverse Visual Commonsense Reasoning dataset): 地域特性を反映したVQA
- Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning [49.0]
視覚・言語モデルによる文化的・地理的コモンセンス理解能力をテストするためにGeo-Diverse Visual Commonsense Reasoning dataset(GD-VCR)を構築した。 その結果,東アジア,南アジア,アフリカを含む非西欧地域での両モデルの性能は,西欧地域に比べて著しく低いことがわかった。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 14 Sep 2021 17:52:55 GMT)- 結婚式の画像は地域やその文化によって大幅に異なるなど、地域的特性が出る画像がある。西欧、東アジア、南アジア、アフリカに関する画像328枚と886のQAペアからなるデータセットを作成、VisualBERTとViLBERT（VCRでトレーニング済み）がGD-VCRに対応可能か確認、西欧地域以外では性能が下がることが分かったとのこと。
- 直感的にはそうなりそうだが確認されると興味深い結果。論文中の分析で地域特性(結婚式、宗教、祭りなど)を含むシナリオのギャップが大きいというのも納得感がある。顧客が登場するシナリオでも差が大きいとのことでこれは地元の商店で買い物をするか、スーパーマーケットで買い物をするかの差ではないかとのこと。この考察も面白い。
- 結婚式の画像は地域やその文化によって大幅に異なるなど、地域的特性が出る画像がある。西欧、東アジア、南アジア、アフリカに関する画像328枚と886のQAペアからなるデータセットを作成、VisualBERTとViLBERT（VCRでトレーニング済み）がGD-VCRに対応可能か確認、西欧地域以外では性能が下がることが分かったとのこと。
xGQA: 7言語の Visual Question Answering
- xGQA: Cross-Lingual Visual Question Answering [100.4]
xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
論文 参考訳（メタデータ） (Mon, 13 Sep 2021 15:58:21 GMT)- 7言語に対応するvisual question answeringデータセット。GQAデータセットを7言語に拡張。ゼロショットでの回答は難しく、few-shotのセッティングだと精度が改善するが依然として簡単ではないタスクであるよう。
- リポジトリはhttps://github.com/Adapter-Hub/xGQA
SituatedQA:回答のために言語外の文脈が必要なQAデータセット
- SituatedQA: Incorporating Extra-Linguistic Contexts into QA [7.5]
SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。 質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。 我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 13 Sep 2021 17:53:21 GMT)- 回答のために言語外の文脈が必要なQAデータセットの提案。時間的or地理的を表すContext Typeとそれに対応したContext Valueによって答えが変化する。直感的にも予想できる通り、Leaderboardからは人間とモデルの差が大きい解くのが難しい問題のように見える。
- プロジェクトサイトはhttps://situatedqa.github.io/
PICa(Prompts GPT3 via the use of Image Captions): 画像キャプショニング+GPT-3によるVisual Question Answering
- An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA [51.6]
本稿では,知識に基づくVQAのための画像キャプションを用いて,GPT3をプロンプトする簡易かつ効果的なPICaを提案する。 まず、まず、GPT-3が理解できるキャプション(タグ)に変換し、次に、GPT-3を適用してVQAタスクをfewショットで解決する。 PICaは16の例しか使用せず、OK-VQAデータセットで教師ありのSoTAを+8.6ポイント上回っている。
論文 参考訳（メタデータ） (Fri, 10 Sep 2021 17:51:06 GMT)- 画像からキャプションテキストを生成、そのテキストを使ってVQA(Visual Question Answering)タスクを解くという論文。このアーキテクチャで教師ありのsotaを上回るというのは驚き。
- GPT-３は何をどこまで知っているのだろう・・・？という感想
- 画像からキャプションテキストを生成、そのテキストを使ってVQA(Visual Question Answering)タスクを解くという論文。このアーキテクチャで教師ありのsotaを上回るというのは驚き。
HyperCLOVA: 韓国の大規模事前学習モデル
- What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers [16.6]
GPT-3は、数千億の大規模データに基づいて訓練された大規模言語モデル(LM)の、卓越したコンテキスト内学習能力を示す。 韓国中心の560Bトークンコーパスでトレーニングした82B GPT-3の韓国版、HyperCLOVAを紹介する。 我々は、プロンプトベースの学習のパフォーマンスの利点を示し、プロンプトエンジニアリングパイプラインにどのように組み込むことができるかを示す。
論文 参考訳（メタデータ） (Fri, 10 Sep 2021 03:32:19 GMT)- NAVERが構築した大規模事前学習モデルHyperCLOVAの論文。few-shotやPrompt tuningによる高い性能を確認。社内でHyperCLOVA StudioというNo Code AI paradigmを利用しているとのこと。
M5Product: 600万以上のマルチモーダルデータセット
- M5Product: A Multi-modal Pretraining Benchmark for E-commercial Product Downstream Tasks [94.8]
我々は600万以上のマルチモーダルペアからなるM5Productという大規模データセットをコントリビュートする。 M5Productには、画像、テキスト、テーブル、ビデオ、オーディオなど、複数のモードの豊富な情報が含まれている。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 9 Sep 2021 13:50:22 GMT)- e-コマースの画像、テキスト、テーブル、ビデオ、オーディオを含む6M件と大規模なマルチモーダルデータセット。このデータをもとにした検索・分類・クラスタリングなどのタスクで優れた性能を出すM5-MMTをベースラインとして提案。
- プロジェクトサイトはhttps://xiaodongsuper.github.io/M5Product_dataset/
最近公開化された画像-テキスト 4億ペアからなるLAION-400M などマルチモーダルな大規模データセットが公開されるのは非常にありがたい。
MATE(Multi-view Attention for Table transformer Efficiency): 大きなテーブルを含む文書をモデル化
- MATE: Multi-view Attention for Table Transformer Efficiency [21.5]
ウェブ上のリレーショナルテーブルの20%以上が20行以上の行を持っている。 現在のTransformerモデルは一般的に512トークンに制限されている。 本稿では,Webテーブルの構造をモデル化する新しいトランスフォーマーアーキテクチャであるMATEを提案する。
論文 参考訳（メタデータ） (Thu, 9 Sep 2021 14:39:30 GMT)- WEBページなどによくあるテーブル構造をモデル化可能な（シーケンス長が長く効率的な）transformerモデルを提案、HybridQAなどでsotaとのこと。
- 一般的に表形式データが混在したWEBページの扱いは難しいのでこの研究には興味津々。