コンテンツへスキップ
- Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy [68.9]
異常の希少性のため, 系列全体と強い関連性を構築することは困難であり, 関連性は主に隣接点に集中していることが観察された。 通常の点と異常点の間に本質的に区別可能な基準を示しており、これはAssociation Discrepancy として強調する。関係の一致を計算するために,Anomaly-Attention機構を備えたAnomaly-Transformer を提案する。Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する
論文 参考訳（メタデータ） (Wed, 6 Oct 2021 10:33:55 GMT)- Transformerを用いて優れた性能の異常検知が可能との論文。概要の通り単純なTransforerではない。Ablation studyの分析が面白い。
- BadPre: Task-agnostic Backdoor Attacks to Pre-trained NLP Foundation Models [25.9]
我々は,訓練済みNLPモデルに対する最初のタスク非依存のバックドアアタックを提案する。 事前訓練されたモデルにバックドアを埋め込む際に、下流タスクに関する事前情報を必要としない。 実験結果から,本手法は,幅広い下流NLPタスクを効果的かつステルスな方法で攻撃できる可能性が示唆された。
論文 参考訳（メタデータ） (Wed, 6 Oct 2021 02:48:58 GMT)- 事前学習モデルを活用する形のNLPが流行しているが、その事前学習モデルにバックドアを仕込むことが可能という報告。下流タスクによらず特定ワードでの性能を著しく劣化されることが可能。
- Data Augmentation Approaches in Natural Language Processing: A Survey [28.9]
データ拡張(DA)は、ディープラーニング技術が失敗する可能性のあるデータの不足シナリオを軽減する。 DA手法の主な焦点の1つは、トレーニングデータの多様性を改善することである。 DA手法をパラフレーズ化, ノイズ化, サンプリングなど, 拡張データの多様性に基づいて3つのカテゴリに分類する。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 07:35:32 GMT)- 自然言語処理におけるデータ拡張の幅広いサーベイ。言い換え、ノイズ付与、サンプリングの3カテゴリで整理を行っている。42ページ、引用論文数122と規模が大きい。論文中に出てくる図が非常に参考になる。
- FooDI-ML: a large multi-language dataset of food, drinks and groceries images and descriptions [0.0]
このデータセットは、東ヨーロッパと西アジア(ウクライナ語やカザフ語など)の870万の言語のサンプルを含む33の言語を記述している。 データセットにはスペイン語や英語など、広く話されている言語も含まれている。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 13:33:08 GMT)
- On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation [63.9]
事前学習(PT)と後方翻訳(BT)は単言語データを利用するためのシンプルで強力な方法である。 本稿では,PTとBTの相補性について検討する。 我々は、WMT16英語-ルーマニア語と英語-ロシア語ベンチマークで最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 04:01:36 GMT)- Pre-Trainingはエンコーダにとってより有益であり、Back-Translationはデコーダを主に改善するとの報告。両社は相互補完可能でTagged BTはより有益であるとのこと。
- Multi-Document Keyphrase Extraction: A Literature Review and the First Dataset [24.9]
文書の集合を記述するのに有用であるにもかかわらず、多文書キーフレーズ抽出は頻繁に研究されている。 ここでは、最初の文献レビューとタスクのための最初のデータセットであるMK-DUC-01を紹介し、新しいベンチマークとして機能する。
論文 参考訳（メタデータ） (Sun, 3 Oct 2021 19:10:28 GMT)- 文書からのキーフレーズ抽出は重要なタスクで、複数文書をまとめて評価したい場合も多い。本論文ではDUC-2001をベースにマルチドキュメントなキーフレーズ抽出用データセットを作成、現時点の手法をConcat（連結したドキュメントでフレーズ抽出）とMerge（各ドキュメントでフレーズ抽出した結果をマージして再処理）で比較している。
- CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.3]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳（メタデータ） (Mon, 4 Oct 2021 17:59:31 GMT)- 物体検出タスクにおいて不確かさを推定、定量化する手法を提案。クラスに関する不確実性だけでなく、位置や大きさの不確実性も定量化できるとのこと。実用上重要な値であると思う。
- Exploring the Limits of Large Scale Pre-training [34.2]
大規模機械学習の最近の進歩は、事前学習の改善が、ほとんどの下流タスクに好適に反映されることを示唆している。 この現象を考察し、上流の精度を高めると、下流のタスクの性能が飽和することを示す。 本稿では、飽和現象を反映し、上流タスクと下流タスクのパフォーマンスの非線形関係をキャプチャする下流パフォーマンスモデルを提案する。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 14:49:00 GMT)- 事前学習と下流タスクの精度に関する検証。
- 上流の精度を高めていくと下流タスクの性能は飽和する、というのは直感に沿っている。一方で「全ての下流タスクでうまく機能する事前訓練済みのチェックポイントは見つけられない」という指摘はそうであろうと思いつつも若干ショックではある。
- TLDR9+: A Large Scale Resource for Extreme Summarization of Social Media Posts [23.2]
Redditのディスカッションフォーラムから抽出された900万以上のトレーニングインスタンスを含む、大規模な要約データセットを紹介します。 このデータセットは、極端な要約(すなわち、高い圧縮と抽象化で1文の要約を生成する)を行うために特別に収集され、以前提案されたデータセットの2倍以上の大きさである。
論文 参考訳（メタデータ） (Mon, 4 Oct 2021 02:40:55 GMT)
- Scientific evidence extraction [0.0]
我々は新しいデータセットである Tables One Million (PubTables-1M) と新しいメトリクスのクラスである PubMed grid table similarity (GriTS) を提案する。 PubTables-1Mは、これまでで最大のデータセットの約2倍の大きさである。 PubTables-1Mでトレーニングしたオブジェクト検出モデルは,検出,構造認識,機能解析の3つのタスクすべてに対して,アウト・オブ・ザ・ボックスで優れた結果が得られることを示す。
論文 参考訳（メタデータ） (Thu, 30 Sep 2021 19:42:07 GMT)- 簡単そうで（？）難しいPDFドキュメント内表形式データの認識とデータ抽出に関する論文。大規模（948K≒1M）なデータセットPubTable-1Mを作成、DETR(Detection Transformer)を TD (Table Detection), TSR(Table Structure Recognition), FA (Functional Analysis)に適用、優れた性能を達成したとのこと。
- リポジトリはhttps://github.com/microsoft/table-transformer