Perceiver IO: 様々な入出力を扱う汎用アーキテクチャ

  • Perceiver IO: A General Architecture for Structured Inputs & Outputs [84.6]
    Perceiver IOは、任意のサイズとセマンティクスの出力を生成するために、モデルの潜在空間を柔軟にクエリすることを学ぶ。 このモデルは、高度に構造化された出力空間を持つタスクに対して強い結果を得る。 Perceiver IOは、GLUE言語ベンチマークでTransformerベースのBERTベースラインにマッチする。
    論文  参考訳（メタデータ）   (Mon, 2 Aug 2021 17:18:43 GMT)
    • 入力サイズと出力サイズの両方で線形にスケーリングしながら,汎用的な入出力を処理できるアーキテクチャであるPerceiver IOを提案。様々なタスク（自然言語処理、Optical Flow、Multimodal autoencoding、強化学習（StarCraft /AlphaStar））で優れた性能を達成したとのこと。
    • Perceiverの提案はPerceiver: General Perception with Iterative Attention、Transformerを基盤とした構成だが大きな入力・より深いネットワークを構成可能とのことで今後流行るかもしれない。

BERTを利用したテキスト分析を通した社会科学の研究

  • Changes in European Solidarity Before and During COVID-19: Evidence from a Large Crowd- and Expert-Annotated Twitter Dataset [77.3]
    我々は,NLPにおける教師付き機械学習の新たな課題として,社会的連帯という社会科学的概念とその反対である反連帯の概念を導入する。 我々は,複数のアノテータと2つのアノテーションアプローチ(専門家対群衆)を利用して2.3kの英語とドイツ語のつぶやきをアノテーションした。 これらのアノテーションを使って、複数のデータ拡張戦略でBERTモデルをトレーニングし、2019年9月から2020年12月までに27万以上のツイートを自動的にラベル付けし、ヨーロッパの言論が、時間とともにどのように発展していくかに関して評価する。
    論文  参考訳（メタデータ）   (Mon, 2 Aug 2021 17:03:12 GMT)
    • 一部のデータを人の手でアノテーション、BERT等を活用したモデルを訓練し、アノテーション対象外の大量のデータにラベルを付与、その結果を分析するという論文。実務的にもよく用いられる手法であり、有効な分析プロセスである。
    • 専門知識を持つ人とクラウドワーカーの結果を比較するなど、実用するうえで参考になる論文だと思う。

ゼロショットでの文章リライト

  • Towards Universality in Multilingual Text Rewriting [9.0]
    本モデルでは、英語の見習いのみを用いて、非英語言語でゼロショットの感情伝達を行うことができることを示す。 次に、我々のモデルが複数の属性を同時に変更できることを示します。
    論文  参考訳（メタデータ）   (Fri, 30 Jul 2021 16:48:04 GMT)
    • 少ない英語の事例のみを用いることで英語以外の言語でテキストのリライトができるモデルを構築できたとの報告。論文中の日本語の例が興味深い。
    • 翻訳モデルを中間に挟むのは現実的ではあると思うが、このようにゼロショットで結果を出すマルチリンガルモデルには未来を感じる。

難易度を考慮した機械翻訳の評価

  • Difficulty-Aware Machine Translation Evaluation [20.0]
    本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
    論文  参考訳（メタデータ）   (Fri, 30 Jul 2021 02:45:36 GMT)
    • BERTScore をベースに翻訳の難しさ（複数翻訳モデルの一致の悪さ）を考慮したDifficulty-Aware BERTScoreを定義、評価指標として有効に動作することを検証した論文。よく用いられるBLEUは翻訳の品質評価において良好な結果を示さないことが分かっており、自動評価指標の開発は重要である。品質評価において難易度の考慮は自然な発想であり、本論文の難易度の定義も違和感がない。良さそうな指標だと思う。
    • ソースコード等はhttps://github.com/NLP2CT/Difficulty-Aware-MT-Evaluationで公開されている。

メールスレッドの抽象型要約

  • EmailSum: Abstractive Email Thread Summarization [105.5]
    我々は,メールスレッド要約(EmailSum)データセットを抽象化的に開発する。 このデータセットには、人間による注釈付きショート(30ワード)と、2549のメールスレッドからなるロング(100ワード)のサマリーが含まれている。 本研究は,現在の抽象的要約モデルの課題を明らかにするものである。
    論文  参考訳（メタデータ）   (Fri, 30 Jul 2021 15:13:14 GMT)
  • メールスレッド要約のためのデータセットと様々なモデルの評価結果を報告した論文。Extractiveな要約手法、Abstractiveな要約手法の代表的なものに加え、ラベル無しデータを用いるSemi-supervisedな手法も試している。結果的にT5が良好な結果をしめしたとのこと（Semi-supervisedな手法が勝っている評価指標もある）
  • リポジトリはhttps://github.com/ZhangShiyue/EmailSum

MASA(ML API Shift Assessments): API Shiftの検知

  • Did the Model Change? Efficiently Assessing Machine Learning API Shifts [24.3]
    機械学習(ML)予測APIはますます広く使われている。 モデル更新や再トレーニングのために、時間とともに変更することも可能だ。 MLモデルがどのように変更されたかは、ユーザにとって明確ではないことが多い。MASAは、ランダムサンプリングよりも90%少ないサンプルを用いて、商用ML APIの混同行列シフトを正確に推定することができる。
    論文  参考訳（メタデータ）   (Thu, 29 Jul 2021 17:41:53 GMT)
    • 「さまざまなデータセット上で、Google、Microsoft、Amazonなどから人気のML APIの2020年から2021年までのパフォーマンスシフトを定量化します。 調査対象36例中12例に有意なモデルシフトを認めた。 興味深いことに、APIの予測が時間とともに大幅に悪化するいくつかのデータセットを見つけました。」とのこと。API利用時のテストは初期には実施することが多いと思うが、その後のAPI更新時にも「性能がアップするだけ」と単純に考えてはいけないよう。継続的な検証のためには大事な技術である。

プロンプトに関するサーベイ

  • Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.9]
    本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
    論文  参考訳（メタデータ）   (Wed, 28 Jul 2021 18:09:46 GMT)
    • GPT-2、GPT-3などで有名になり、Few-shotで重要なプロンプトに関するサーベイ。プロンプトの位置づけや概要から始まり、モデル、テクニック、応用など幅広い内容で非常に良い資料。TABLE 12 Timeline of prompt-based learningで2021.07.15 の FLEXまでカバーしているのも凄い。

XAI(Explainable AI)とユーザの関係

  • The Who in Explainable AI: How AI Background Shapes Perceptions of AI Explanations [14.3]
    我々は、AIの背景と背景のない2つの異なるグループが、異なるタイプのAI説明を知覚する方法について、混合方法論による研究を行う。 私たちは、信頼、知性、理解可能性、第二のチャンス、友好性の5つの側面に沿って、知覚が何であるかを定量的に共有します。
    論文  参考訳（メタデータ）   (Wed, 28 Jul 2021 17:32:04 GMT)
    • AIに関するバックグラウンドの有無によってAIの説明の受け止め方が異なるかを検証した論文。疑似的なロボットをRationale-Generating（自然言語で詳細な動作理由を出力、きちんとした内容、以下RG）、Action-Declaring （動作のみを記載、説明ではない、以下AD）、 Numerical-Reasoning（数値のみを出力、理由とは言えない、以下NR）の3つ設定、どれが好まれるかを検証。AIのバックグラウンドのある人は基本的にRGを好むが、そうでないグループでは常にRGが好まれるとは限らない。ADとRGの好みに差があるなどグループ間で差異が存在。また本来説明になっていないAD、NRに価値を見出すこともあったとのこと。
      • 「AI group seemed to have an instinctual response to numerical values; they assumed that the numbers possess all the information needed to manipulate, diagnose, and reverse engineer.」というのは非常に重要（で怖い）指摘。
      • 説明が正しく機能するかはXAIの重要な部分でhttps://arxiv.org/abs/2006.14779のような指摘にも関連している。色々な手法が開発されているもののXAIの実利用は発展途上という印象。前に書いた通り有用な技術であることは間違いなく、今後の発展が期待される。
    • 本論も良いが前半のBACKGROUDの記載内容が非常に参考になる。
    • 残念ながらFuguMTの訳がひどい。新verでは改善される予定。。。

MWP(Math word problem)とBERT

  • MWP-BERT: A Strong Baseline for Math Word Problems [47.5]
    数学語問題( Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。 近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。 我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
    論文  参考訳（メタデータ）   (Wed, 28 Jul 2021 15:28:41 GMT)
    • 事前学習言語モデルを用いたMWP（テキストの記述を方程式に変換するタスク）に関する報告。Math23Kで6%と大幅な改善を達成とのこと。

Question Answeringデータセットの調査

  • QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension [41.6]
    我々は、現在のリソースの様々なフォーマットとドメインの概要を述べ、将来の作業における現在の隙間を強調します。 また、英語に対する過剰な焦点付けの影響についても論じ、他の言語や多言語リソースに対する現在のモノリンガルリソースについて調査する。
    論文  参考訳（メタデータ）   (Tue, 27 Jul 2021 10:09:13 GMT)
    • 引用数295という大規模なQAデータセットの調査結果。問題の構成、ドメイン、言語など様々な側面でデータセットを分類しており非常に参考になる。モノリンガルなリソースだと、日本語データセットは4番目（1位は英語、2位は中国語、3位はロシア語）に多いとのこと。