コンテンツへスキップ
- Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.6]
ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が浮上している。1) モデルはクリーンなデータよりもバックドアドデータを学習する。 2) バックドアタスクは特定のクラス(バックドアターゲットクラス)に結び付けられる。 これら2つの弱点に基づきアンチバックドア学習(ABL)を提案する。ABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 25 Oct 2021 03:41:22 GMT)- バックドア攻撃の特徴を使った防御法を提案。最先端のバックドア攻撃10件に対して効果的に防御できることを示し、品質が不明瞭なデータを使った学習時に安全性を確保できるとのこと。
- 攻撃と防御のいたちごっこになる感はあるが、このような研究は重要。
- リポジトリはhttps://github.com/bboylyg/ABL
- Multilingual Unsupervised Neural Machine Translation with Denoising Adapters [77.8]
単言語データのみを持つ言語を翻訳・翻訳する多言語無教師機械翻訳の問題点を考察する。 この問題に対して、モノリンガルデータを活用するための標準的な手順は、計算コストが高くチューニングが難しいバックトランスレーションである。 本稿では,事前学習したmBART-50上に,デノナイジング対象のアダプタ層であるデノナイジングアダプタを使用することを提案する。
論文 参考訳（メタデータ） (Wed, 20 Oct 2021 10:18:29 GMT)- mBART-50にアダプタ層を付け加えることによって破壊的な忘却を防止しながら性能の高い機械翻訳モデルを構築可能という報告。教師無し＆単言語データを主たる対象にしている。新しい言語でmBARTを拡張できるとか非常に興味深い結果。
- Generalized Out-of-Distribution Detection: A Survey [25.8]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習システムの信頼性と安全性を確保するために重要である。 まず,先述した5つの問題を含む一般OOD検出という汎用フレームワークを提案する。 私たちのフレームワークでは、これらの5つの問題を特別なケースやサブタスクと見なすことができ、区別しやすくなります。
論文 参考訳（メタデータ） (Thu, 21 Oct 2021 17:59:41 GMT)- Out-of-Distribution検出は実用上重要だがanomaly detection (AD), novelty detection (ND), open set recognition (OSR), outlier detection (OD),これらを含む一般的なOD検出など様々なタスクがある。OOD検出の情報を整理するのに非常に良い資料。本文は14ページとコンパクトだが、引用数315と広範囲。
- Interpreting Deep Learning Models in Natural Language Processing: A Review [33.8]
ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
論文 参考訳（メタデータ） (Wed, 20 Oct 2021 10:17:04 GMT)- 自然言語処理のモデルに対する説明方法のサーベイ。「Training-based: 予測時に影響が強い学習インスタンスの識別」「Test-based: テストデータのどこが予測値に影響を与えているか識別」や「joint: 学習時に解釈性を両立させる」「post-hoc:学習したモデルに対して別途解釈性を付与する 」といった観点で説明手法を分類しており分かりやすい。
- 「Is attention interpretable?」という問いと不明瞭であるという記載は同感で、私個人としてはAttentionをもってinterpretableと呼ぶには違和感がある。解釈性の文脈でAttentionの有用性に対する反論、それに対する再反論などのやり取りは非常に参考になる。
- Detecting Backdoor Attacks Against Point Cloud Classifiers [34.1]
ポイントクラウド(PC)分類器に対する最初のBAが提案され、自律運転を含む多くの重要なアプリケーションに対する新たな脅威が生まれた。 本稿では,PC分類器がトレーニングセットにアクセスすることなく,バックドア攻撃であるかどうかを推定するリバースエンジニアリングディフェンスを提案する。 本研究の有効性を,PC用ベンチマークModeNet40データセットで実証した。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 20 Oct 2021 03:12:06 GMT)- 様々な場所で活用が進みつつあるポイントクラウド分類器へのバックドア攻撃検出。論文の指摘通り、画像分類ではよく見るがポイントクラウド分類に対する研究はあまり見ない気がする。そして画像で有効な防御方法がPoint Cloudに対して有効とは限らないというのは直感的にもその通りで重要な研究だと思う。
- RED （ reverse-engineering defense）はうまく機械翻訳できていない・・・。
- GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.1]
Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
論文 参考訳（メタデータ） (Tue, 19 Oct 2021 18:07:07 GMT) - データからの文章生成は注目点や重要な数値など生成時に使われるべきデータを制御する観点が重要。このような観点でビジュアルなインタラクションを通じたモデル構築ができるのは有用だと思う。デモに期待大。
- プロジェクトサイトはhttps://genni.vizhub.ai/、デモは11/21オープンとのこと。
- A Survey on Machine Learning Techniques for Source Code Analysis [14.1]
ソースコード解析に応用された機械学習の領域における現在の知識を要約することを目的としている。 そこで本研究では,2002年から2021年にかけて,広範囲にわたる文献検索を行い,研究364点を同定した。
論文 参考訳（メタデータ） (Mon, 18 Oct 2021 20:13:38 GMT)- 本文39ページ、引用数369と大規模なサーベイ。
- ソフトウェアテスト、ソースコード表現、ソースコードの品質分析、プログラム合成、コード補完、リファクタリング、コード要約、脆弱性解析などソースコード分析における機械学習の利用とそのアプローチが把握できる。
- Leveraging Knowledge in Multilingual Commonsense Reasoning [25.2]
本稿では,翻訳・検索・翻訳(TRT)戦略を用いて,英語の知識ソースを活用することを提案する。 多言語コモンセンスの質問や選択に対して,知識ソースからの翻訳や検索を通じて関連する知識を収集する。 検索した知識は対象言語に翻訳され、事前訓練された多言語言語モデルに統合される。
論文 参考訳（メタデータ） (Sat, 16 Oct 2021 03:51:53 GMT)- 処理中に機械翻訳を用いるタイプのマルチリンガルな自然言語処理のアプローチ。XCSRで優れた性能とのこと。言語資源が英語に偏っているのは事実で機械翻訳モデルを用いるアプローチが強力そうなのは直感的には明らか。マルチリンガルモデルを用いるより機械翻訳を挟む方が性能が優れている事例は複数あるが、事前学習モデルの性能、機械翻訳モデルの性能など考慮すべき前提条件が多く、どのあたりがその境目になるのか興味がある。
- MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding [35.4]
テキスト、レイアウト、画像によるマルチモーダル事前学習は、ビジュアルリッチ文書理解(VrDU)において大きな進歩を遂げた。 本稿では,マークアップ言語をバックボーンとする文書理解タスクのためのMarkupLMを提案する。 実験の結果,事前学習したMarkupLMは,複数の文書理解タスクにおいて,既存の強力なベースラインモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (Sat, 16 Oct 2021 09:17:28 GMT)- テキストだけでなくマークアップ情報を併用して事前学習を行う言語モデルの提案。文書理解タスクで既存の強力なベースラインモデルを大幅に上回るとのこと。この手のデータは削除してしまうことも多いが情報があることは間違いない。自然な形で利用、性能向上に効果があるのは面白い。
- Unsupervised Finetuning [80.6]
ソースデータとターゲットデータを組み合わせて教師なしの微調整を行うための2つの戦略を提案する。 前者の戦略の動機は、事前訓練された表現空間を占有するために、少量のソースデータを追加することである。 後者の戦略の動機は、データ密度を高め、よりコンパクトな表現を学ぶことにある。
論文 参考訳（メタデータ） (Mon, 18 Oct 2021 17:57:05 GMT)- 教師無しのfine-tuning手法の提案、対象は画像処理。ドメイン適合と考えれば効果はありそうだが、実際にこの方針で性能が上がるのはすごい。