敵対的攻撃と防御のサーベイ

  • A Review of Adversarial Attack and Defense for Classification Methods [78.5]
    本稿では,敵対的事例の生成と保護に焦点をあてる。 この論文は、多くの統計学者が、この重要かつエキサイティングな分野において、敵の事例を生成・防御することを奨励するものである。
    論文  参考訳(メタデータ)   (Thu, 18 Nov 2021 22:13:43 GMT)
    • ディープ系モデルに対する敵対的攻撃とその防御に関するサーベイ、数式多めだが分かりやすい。
    • リポジトリはGitHub – liyao880/revew_adv_defense

ビジネス文書を対象としたAI適用のサーベイ

  • Document AI: Benchmarks, Models and Applications [35.5]
    ドキュメントAI(Document AI)とは、ビジネス文書を自動的に読み、理解し、分析する技術である。 近年、ディープラーニング技術の人気は、Document AIの開発を大きく進めている。 本稿では,代表モデル,タスク,ベンチマークデータセットについて概説する。
    論文  参考訳(メタデータ)   (Tue, 16 Nov 2021 16:43:07 GMT)
    • ドキュメントを対象とした分析のサーベイ。レイアウト分析、情報抽出、Visual Question Answeringなど様々なタスクの概要とベンチマーク、モデル等を解説しており参考になる。できることは増えてきているので応用が進んでほしい。
    • サーベイ中、日本語のデータセットはGitHub – doc-analysis/XFUND: XFUND: A Multilingual Form Understanding Benchmarkのみ。ほとんど英語というのは残念。

Computer Visionにおけるアテンションのサーベイ

  • Attention Mechanisms in Computer Vision: A Survey [75.6]
    本稿では,コンピュータビジョンにおける様々な注意機構について概観する。 チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。 我々は注意機構研究の今後の方向性を提案する。
    論文  参考訳(メタデータ)   (Mon, 15 Nov 2021 09:18:40 GMT)

GameにおけるAIのサーベイ

  • AI in Games: Techniques, Challenges and Opportunities [40.9]
    Libratus、OpenAI Five、AlphaStarといった様々なゲームAIシステムが開発され、プロの人間プレイヤーに勝っている。 本稿では,最近成功したゲームAI,ボードゲームAI,カードゲームAI,ファーストパーソンシューティングゲームAI,リアルタイム戦略ゲームAIについて調査する。
    論文  参考訳(メタデータ)   (Mon, 15 Nov 2021 09:35:53 GMT)
    • 碁のようなボードゲーム、テキサス・ホールデムのようなカードゲーム、FPS、リアルタイムストラテジーゲームと4種類のゲームとそのAIに関するサーベイ。ゲームは意思決定と密接に関わっており、応用範囲は広い印象。

Visual Transformersのサーベイ

  • A Survey of Visual Transformers [30.1]
    注意に基づくエンコーダデコーダアーキテクチャであるTransformerは、自然言語処理の分野に革命をもたらした。 コンピュータビジョン(CV)分野へのトランスフォーマーアーキテクチャの適用に関する先駆的な研究が最近行われている。 我々は,3つの基本的なCVタスクに対して,100以上の異なる視覚変換器の総合的なレビューを行った。
    論文  参考訳(メタデータ)   (Thu, 11 Nov 2021 07:56:04 GMT)
    • 画像分野におけるTransformerのサーベイ。

ソーシャルレビューの不正検知のサーベイ

  • Social Fraud Detection Review: Methods, Challenges and Analysis [42.3]
    レビューはウェブを支配しており、製品情報の信頼できる情報源となっている。 企業は、単一のユーザ、ユーザグループ、あるいは不正コンテンツを生成するために訓練されたボットを使用して、偽情報を広めるために、ソーシャル情報を利用する。 多くの研究がユーザ行動に基づくアプローチを提案し、不正検出の課題に対処するためのテキストをレビューした。
    論文  参考訳(メタデータ)   (Wed, 10 Nov 2021 11:25:20 GMT)
    • ボットなどで行われるレビューの不正を検知する研究のサーベイ。時系列で研究課題やアプローチがまとめられているのが分かりやすい。

Green Deep Learningのサーベイ

  • A Survey on Green Deep Learning [25.7]
    本稿では,グリーンディープラーニング技術の発展を体系的にレビューすることに焦点を当てる。 提案手法は,(1)コンパクトネットワーク,(2)エネルギー効率のトレーニング戦略,(3)エネルギー効率の推論アプローチ,(4)データ利用率の4つのカテゴリに分類される。
    論文  参考訳(メタデータ)   (Wed, 10 Nov 2021 02:28:08 GMT)
    • 最近よく話題になるDeepLearningにおけるカーボンフットプリントのようなAIと環境との関わりのサーベイ。アーキテクチャ、学習、推論などモデル構築要素の他、データの使い方(Active LearningやFew shotなど)についても扱っている。各チャプターの整理図が良い感じでありがたい。

Visual Deep MLPのサーベイ

  • Are we ready for a new paradigm shift? A Survey on Visual Deep MLP [33.0]
    初めて出現したニューラルネットワーク構造である多層パーセプトロン(MLP)は大きなヒットとなった。 ハードウェア・コンピューティングのパワーとデータセットのサイズに制約され、かつては何十年にもわたって沈んだ。 我々は、手動の特徴抽出から、局所受容野を持つCNNへのパラダイムシフト、さらにグローバル受容野を持つTransformへのパラダイムシフトを目撃した。
    論文  参考訳(メタデータ)   (Sun, 7 Nov 2021 12:02:00 GMT)
    • CNN、Transformer(ViTなど)、MLP(MLP-Mixerなど)と群雄割拠な感のある画像処理に対するMLP中心のサーベイ。

Fairnessな機械学習へのテクニック

  • Modeling Techniques for Machine Learning Fairness: A Survey [17.9]
    近年,機械学習モデルのバイアスを軽減するため,様々な手法が開発されている。 本稿では,プロセス内バイアス軽減技術の現状を概観する。
    論文  参考訳(メタデータ)   (Thu, 4 Nov 2021 17:17:26 GMT)
    • 公平性の実現、バイアスの除去・軽減技術に関するサーベイ。
    • 決定的な方法はない分野でもあり、整理軸も概観も非常に参考になる。

大規模事前学習による自然言語処理のサーベイ

  • Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.8]
    BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
    論文  参考訳(メタデータ)   (Mon, 1 Nov 2021 20:08:05 GMT)
    • 事前学習モデルを用いたNLPのサーベイ、本文30ページ。「事前学習+Fine-tuning」「Prompt-based learning 」「テキスト生成への帰着」の3つのパラダイムで整理している。加えてPLMによるデータ生成も扱われており非常に勉強になる。