コンテンツへスキップ
- Perceiver IO: A General Architecture for Structured Inputs & Outputs [84.6]
Perceiver IOは、任意のサイズとセマンティクスの出力を生成するために、モデルの潜在空間を柔軟にクエリすることを学ぶ。 このモデルは、高度に構造化された出力空間を持つタスクに対して強い結果を得る。 Perceiver IOは、GLUE言語ベンチマークでTransformerベースのBERTベースラインにマッチする。
論文 参考訳（メタデータ） (Mon, 2 Aug 2021 17:18:43 GMT)- 入力サイズと出力サイズの両方で線形にスケーリングしながら,汎用的な入出力を処理できるアーキテクチャであるPerceiver IOを提案。様々なタスク（自然言語処理、Optical Flow、Multimodal autoencoding、強化学習（StarCraft /AlphaStar））で優れた性能を達成したとのこと。
- Perceiverの提案はPerceiver: General Perception with Iterative Attention、Transformerを基盤とした構成だが大きな入力・より深いネットワークを構成可能とのことで今後流行るかもしれない。
- Changes in European Solidarity Before and During COVID-19: Evidence from a Large Crowd- and Expert-Annotated Twitter Dataset [77.3]
我々は,NLPにおける教師付き機械学習の新たな課題として,社会的連帯という社会科学的概念とその反対である反連帯の概念を導入する。 我々は,複数のアノテータと2つのアノテーションアプローチ(専門家対群衆)を利用して2.3kの英語とドイツ語のつぶやきをアノテーションした。 これらのアノテーションを使って、複数のデータ拡張戦略でBERTモデルをトレーニングし、2019年9月から2020年12月までに27万以上のツイートを自動的にラベル付けし、ヨーロッパの言論が、時間とともにどのように発展していくかに関して評価する。
論文 参考訳（メタデータ） (Mon, 2 Aug 2021 17:03:12 GMT)- 一部のデータを人の手でアノテーション、BERT等を活用したモデルを訓練し、アノテーション対象外の大量のデータにラベルを付与、その結果を分析するという論文。実務的にもよく用いられる手法であり、有効な分析プロセスである。
- 専門知識を持つ人とクラウドワーカーの結果を比較するなど、実用するうえで参考になる論文だと思う。
- Towards Universality in Multilingual Text Rewriting [9.0]
本モデルでは、英語の見習いのみを用いて、非英語言語でゼロショットの感情伝達を行うことができることを示す。 次に、我々のモデルが複数の属性を同時に変更できることを示します。
論文 参考訳（メタデータ） (Fri, 30 Jul 2021 16:48:04 GMT)- 少ない英語の事例のみを用いることで英語以外の言語でテキストのリライトができるモデルを構築できたとの報告。論文中の日本語の例が興味深い。
- 翻訳モデルを中間に挟むのは現実的ではあると思うが、このようにゼロショットで結果を出すマルチリンガルモデルには未来を感じる。
- Difficulty-Aware Machine Translation Evaluation [20.0]
本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
論文 参考訳（メタデータ） (Fri, 30 Jul 2021 02:45:36 GMT)- BERTScore をベースに翻訳の難しさ（複数翻訳モデルの一致の悪さ）を考慮したDifficulty-Aware BERTScoreを定義、評価指標として有効に動作することを検証した論文。よく用いられるBLEUは翻訳の品質評価において良好な結果を示さないことが分かっており、自動評価指標の開発は重要である。品質評価において難易度の考慮は自然な発想であり、本論文の難易度の定義も違和感がない。良さそうな指標だと思う。
- ソースコード等はhttps://github.com/NLP2CT/Difficulty-Aware-MT-Evaluationで公開されている。
- EmailSum: Abstractive Email Thread Summarization [105.5]
我々は,メールスレッド要約(EmailSum)データセットを抽象化的に開発する。 このデータセットには、人間による注釈付きショート(30ワード)と、2549のメールスレッドからなるロング(100ワード)のサマリーが含まれている。 本研究は,現在の抽象的要約モデルの課題を明らかにするものである。
論文 参考訳（メタデータ） (Fri, 30 Jul 2021 15:13:14 GMT) - メールスレッド要約のためのデータセットと様々なモデルの評価結果を報告した論文。Extractiveな要約手法、Abstractiveな要約手法の代表的なものに加え、ラベル無しデータを用いるSemi-supervisedな手法も試している。結果的にT5が良好な結果をしめしたとのこと（Semi-supervisedな手法が勝っている評価指標もある）
- リポジトリはhttps://github.com/ZhangShiyue/EmailSum
- Did the Model Change? Efficiently Assessing Machine Learning API Shifts [24.3]
機械学習(ML)予測APIはますます広く使われている。 モデル更新や再トレーニングのために、時間とともに変更することも可能だ。 MLモデルがどのように変更されたかは、ユーザにとって明確ではないことが多い。MASAは、ランダムサンプリングよりも90%少ないサンプルを用いて、商用ML APIの混同行列シフトを正確に推定することができる。
論文 参考訳（メタデータ） (Thu, 29 Jul 2021 17:41:53 GMT)- 「さまざまなデータセット上で、Google、Microsoft、Amazonなどから人気のML APIの2020年から2021年までのパフォーマンスシフトを定量化します。 調査対象36例中12例に有意なモデルシフトを認めた。 興味深いことに、APIの予測が時間とともに大幅に悪化するいくつかのデータセットを見つけました。」とのこと。API利用時のテストは初期には実施することが多いと思うが、その後のAPI更新時にも「性能がアップするだけ」と単純に考えてはいけないよう。継続的な検証のためには大事な技術である。
- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.9]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (Wed, 28 Jul 2021 18:09:46 GMT)- GPT-2、GPT-3などで有名になり、Few-shotで重要なプロンプトに関するサーベイ。プロンプトの位置づけや概要から始まり、モデル、テクニック、応用など幅広い内容で非常に良い資料。TABLE 12 Timeline of prompt-based learningで2021.07.15 の FLEXまでカバーしているのも凄い。