コンテンツへスキップ
- Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.9]
ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 28 Apr 2022 14:02:16 GMT)- MUSEを使用した単語置き換え、機械翻訳などにより英語以外の言語用にデータを拡張、抽出型要約に使うラベルを作りモデル構築を行い、Zero-shotの要約で優れた性能を達成。XLMRSumに比べてMLSUMのROUGE-Lを2pt改善している。
- LM-Debugger: An Interactive Tool for Inspection and Intervention in Transformer-Based Language Models [40.9]
我々は、トランスフォーマーベース言語モデル(LM)のためのインタラクティブデバッガツール、LM-Debuggerを紹介した。 モデルの内部予測プロセスのきめ細かい解釈と、LMの振る舞いを介入するための強力なフレームワークを提供する。 LM-Debuggerは,ネットワーク内のいくつかのベクトルを識別することにより,モデルの振る舞いをユーザの選択方向にシフトさせるのがいかに容易かを示す。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 26 Apr 2022 07:51:25 GMT)
- Embedding Knowledge for Document Summarization: A Survey [66.8]
従来の研究は、知識を組み込んだ文書要約器が優れた消化力、特に情報性、一貫性、事実整合性を生み出すのに優れていたことを証明した。 本稿では,知識を文書要約に組み込む最先端方法論について,初めて体系的な調査を行う。 特に,文書要約の視点で知識と知識の埋め込みを再結合する新しい分類法を提案する。 さらに、文書要約モデルの学習アーキテクチャ、特にディープラーニングモデルにおいて、埋め込みがどのように生成されるかを考察する
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 24 Apr 2022 04:36:07 GMT)- 要約文中の事実を正しく扱うために用いる知識埋め込みに関するサーベイ。実質6ぺージと短いがどのようなアプローチがあるか知る上ではとても有用。
- WebFace260M: A Benchmark for Million-Scale Deep Face Recognition [89.4]
我々は、未修正4MのID/260Mの顔(WebFace260M)とクリーン2MのID/42Mの顔(WebFace42M)を含む新しい100万スケールの認識ベンチマークに貢献する。 分散フレームワークは、性能を損なうことなく、顔認識モデルを効率的に訓練するために開発された。 提案したベンチマークは、標準、マスク付き、偏見のない顔認識シナリオにおいて大きな可能性を示している。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 21 Apr 2022 14:56:53 GMT)
- Sequential Point Clouds: A Survey [33.2]
本稿では,シーケンシャルポイントクラウド研究のための深層学習に基づく手法について概説する。 これには、動的フロー推定、オブジェクトの検出とトラッキング、ポイントクラウドセグメンテーション、ポイントクラウド予測が含まれる。
論文 参考訳（メタデータ） (Thu, 21 Apr 2022 02:10:05 GMT)- 3Dスキャナ等で得られるポイントクラウド情報に時間的な推移を足したsequential point cloudに関するサーベイ。Deep Learningで取り扱う際のアプローチが参考になる。
- Empirical Evaluation and Theoretical Analysis for Representation Learning: A Survey [25.6]
表現学習により、データセットからジェネリックな特徴表現を自動的に抽出して、別の機械学習タスクを解決することができます。 近年,表現学習アルゴリズムと単純な予測器によって抽出された特徴表現は,複数の機械学習タスクにおいて最先端の性能を示す。
論文 参考訳（メタデータ） (Mon, 18 Apr 2022 09:18:47 GMT)- Representation Learningの現状がわかるありがたいサーベイ。
- LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking [83.1]
テキストと画像のマスキングを併用した文書AIのためのマルチモーダルトランスフォーマーを事前学習するためのLayoutLMv3を提案する。 単純な統一アーキテクチャとトレーニングの目的により、LayoutLMv3はテキスト中心および画像中心のDocument AIタスクの汎用的な事前トレーニングモデルになる。
論文 参考訳（メタデータ） (Mon, 18 Apr 2022 16:19:52 GMT)
- Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.4]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 17 Apr 2022 23:56:54 GMT)- 英語で事前学習された事前学習モデルが他の言語でも有効なことがある理由をデータのコンタミによるものであると指摘した論文。
- クローリング結果の言語を統一するクレンジングは困難で妥当な内容と思う。（とはいえ＆完全否定されているわけではないが）言語間でも共通な構造みたいなものを捉えていて欲しかった気もする。
- Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.1]
Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 03:12:30 GMT)
- SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words [59.1]
本研究では,テキストの簡易化を継続する事前学習手法を提案する。 我々は、継続事前学習に小規模な単純なテキストデータセットを使用し、簡単な単語を識別するために2つの方法を用いる。 語彙単純化タスクと文簡略化タスクの両方においてBERTを超えるSimpleBERTを得る。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 11:28:01 GMT)- 単語をランダムにマスクするのではなく、単純な単語だけをマスクする方針で事前学習をしたBERTが通常のBERTよりテキスト簡略化タスクで有効だったという報告。
- 事前学習の戦略の工夫で最終的な性能が上がるのは直感的にもそうだと思うし実用でも研究でも重要な視点。