Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training [139.5] Vision-Language Pre-Trainingは、画像とテキストのペアからマルチモーダル表現を学ぶことを目的としている。 CNNは、長距離依存をモデル化する際の局所受容野の弱点により、視覚的関係学習に制限がある。 本研究では,視覚関係をよりよく学習し,モーダル間アライメントを促進するために,VLPのためのフルトランスフォーマー視覚埋め込みを提案する。。 論文参考訳(メタデータ) (Mon, 28 Jun 2021 04:42:48 GMT)
マルチモーダルな事前学習モデルのため画像認識部分にもself-attentionを導入、MLM(Masked Language Modeling)、ITM(Image- Text Matching)、MFR(Masked Feature Regression)を活用してモデルを構築し、UNITERやSOHOを上回る性能を出したとのこと。
DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.9] 本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己教師ありで事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。 論文参考訳(メタデータ) (Fri, 25 Jun 2021 16:12:10 GMT)
Language Models are Good Translators [63.5] 単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。 論文参考訳(メタデータ) (Fri, 25 Jun 2021 13:30:29 GMT)
Towards Understanding and Mitigating Social Biases in Language Models [107.8] 大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。 論文参考訳(メタデータ) (Thu, 24 Jun 2021 17:52:43 GMT)
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.2] モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデルを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。 論文参考訳(メタデータ) (Wed, 23 Jun 2021 22:24:14 GMT)
Towards Reducing Labeling Cost in Deep Object Detection [61.0] 本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。 論文参考訳(メタデータ)参考訳(全文) (Tue, 22 Jun 2021 16:53:09 GMT)
Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.2] 我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。 論文参考訳(メタデータ) (Wed, 23 Jun 2021 17:10:21 GMT)
BARTScore: Evaluating Generated Text as Text Generation [89.5] 我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。 我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。 本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。 論文参考訳(メタデータ) (Tue, 22 Jun 2021 03:20:53 GMT)