INTERN: 強力なGeneral Vision Model

  • INTERN: A New Learning Paradigm Towards General Vision [117.3]
    我々はInterNという新しい学習パラダイムを開発した。 複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。 ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
    論文  参考訳(メタデータ)   (Tue, 16 Nov 2021 18:42:50 GMT)
    • 大規模LMのようなGeneral Vision Modelを構築することで少数の学習データで優れた性能を発揮するモデルを作れるとの報告。GV-D:General Vision Dataとして100億サンプル、119Kコンセプトのデータセット、 GV-A: General Vision Architecture としてTransformer+Convolutionalな構造、GV-B: General Vision Benchmark として26のタスクを用いて段階的な学習を行うことでCLIPを超える強力なゼネラリストモデルを構築したとのこと。
    • 実装等公開予定とのことで詳細はそこで確認したい。

GameにおけるAIのサーベイ

  • AI in Games: Techniques, Challenges and Opportunities [40.9]
    Libratus、OpenAI Five、AlphaStarといった様々なゲームAIシステムが開発され、プロの人間プレイヤーに勝っている。 本稿では,最近成功したゲームAI,ボードゲームAI,カードゲームAI,ファーストパーソンシューティングゲームAI,リアルタイム戦略ゲームAIについて調査する。
    論文  参考訳(メタデータ)   (Mon, 15 Nov 2021 09:35:53 GMT)
    • 碁のようなボードゲーム、テキサス・ホールデムのようなカードゲーム、FPS、リアルタイムストラテジーゲームと4種類のゲームとそのAIに関するサーベイ。ゲームは意思決定と密接に関わっており、応用範囲は広い印象。

Visual Transformersのサーベイ

  • A Survey of Visual Transformers [30.1]
    注意に基づくエンコーダデコーダアーキテクチャであるTransformerは、自然言語処理の分野に革命をもたらした。 コンピュータビジョン(CV)分野へのトランスフォーマーアーキテクチャの適用に関する先駆的な研究が最近行われている。 我々は,3つの基本的なCVタスクに対して,100以上の異なる視覚変換器の総合的なレビューを行った。
    論文  参考訳(メタデータ)   (Thu, 11 Nov 2021 07:56:04 GMT)
    • 画像分野におけるTransformerのサーベイ。

LiT-tuning(Locked-image Text tuning): 効果的なゼロショット

  • LiT: Zero-Shot Transfer with Locked-image Text Tuning [68.8]
    『Locked-image Text tuning』(LiT-tuning)は、新しいタスクのための事前訓練された画像モデルから良い表現を読み取るためのテキストモデルである。 LiTで調整されたモデルでは、画像分類や検索などの新しい視覚タスクへのゼロショット転送が可能となる。
    論文  参考訳(メタデータ)   (Mon, 15 Nov 2021 18:53:48 GMT)
    • 40億のイメージ-テキストペアを用いたLiT-tuningによりゼロショットImageNetで84.5%の精度を達成。
    • 画像モデル部分をロックして学習することが効果的とのことで「画像-テキストデータは、自然言語と視覚世界の対応を学ぶのに最適であるが、最先端の画像表現を学ぶためには正確かつクリーンではないかもしれない」との指摘。

ソーシャルレビューの不正検知のサーベイ

  • Social Fraud Detection Review: Methods, Challenges and Analysis [42.3]
    レビューはウェブを支配しており、製品情報の信頼できる情報源となっている。 企業は、単一のユーザ、ユーザグループ、あるいは不正コンテンツを生成するために訓練されたボットを使用して、偽情報を広めるために、ソーシャル情報を利用する。 多くの研究がユーザ行動に基づくアプローチを提案し、不正検出の課題に対処するためのテキストをレビューした。
    論文  参考訳(メタデータ)   (Wed, 10 Nov 2021 11:25:20 GMT)
    • ボットなどで行われるレビューの不正を検知する研究のサーベイ。時系列で研究課題やアプローチがまとめられているのが分かりやすい。

BitextEdit: 不適切な対訳ペアを修正して利用

  • BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation [53.6]
    自動編集によりマイニングした対訳ペアを改良することを提案する。 提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングバイテキストの品質を向上することを示す。
    論文  参考訳(メタデータ)  参考訳(全文)  (Fri, 12 Nov 2021 16:00:39 GMT)
    • CCMatrixなど自動で作成された対訳ペア(Bitext)には問題のあるテキストが存在する。それらをフィルタリングするのが通常の対応だが、データ数の減少が問題となる。データフィルタリングするのではなく編集することによって翻訳モデルの性能が向上できたとの報告。
      • 不適切になった理由によっては有効そうという印象。

AnswerSumm: 回答を要約するデータセット

  • AnswerSumm: A Manually-Curated Dataset and Pipeline for Answer Summarization [73.9]
    Stack OverflowやYahoo!のようなコミュニティ質問回答(CQA)フォーラムには、幅広いコミュニティベースの質問に対する回答の豊富なリソースが含まれている。 回答の要約の1つのゴールは、回答の視点の範囲を反映した要約を作成することである。 本研究は,専門言語学者による解答要約のための4,631個のCQAスレッドからなる新しいデータセットを導入する。
    論文  参考訳(メタデータ)   (Thu, 11 Nov 2021 21:48:02 GMT)
    • Community Question Answeringの回答を要約したデータセット。回答を文単位でラベリング、文をクラスタリング、クラスタ内を要約、クラスタ内の要約を統合というパイプラインを経ておりサイズは4.6K。人がアノテーションしたデータとして大規模とのこと。
    • リポジトリはhttps://github.com/alex-fabbri/answersumm、データセットもダウンロード可能

MTVM(Multimodal Transformer with Variable-length Memory)を用いたナビゲーション

  • Multimodal Transformer with Variable-length Memory for Vision-and-Language Navigation [79.2]
    VLN(Vision-and-Language Navigation)は、エージェントが目標位置に向かうために言語命令に従う必要があるタスクである。 近年のTransformer-based VLN法は,視覚的観察と言語指導の直接的な結びつきから大きな進歩を遂げている。 視覚的な自然言語ナビゲーションのための可変長メモリ(MTVM)を備えたマルチモーダルトランスフォーマー (Multimodal Transformer) を提案する。
    論文  参考訳(メタデータ)   (Wed, 10 Nov 2021 16:04:49 GMT)
    • VLMを一見シンプルなTransformerで解き、優れた性能を達成とのこと。

Masked Autoencoders

  • Masked Autoencoders Are Scalable Vision Learners [61.0]
    Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 11 Nov 2021 18:46:40 GMT)
    • Masked Autoencoderという自然言語処理を彷彿とさせる学習法の提案。ImageNet-1KでSoTAとのこと。

Green Deep Learningのサーベイ

  • A Survey on Green Deep Learning [25.7]
    本稿では,グリーンディープラーニング技術の発展を体系的にレビューすることに焦点を当てる。 提案手法は,(1)コンパクトネットワーク,(2)エネルギー効率のトレーニング戦略,(3)エネルギー効率の推論アプローチ,(4)データ利用率の4つのカテゴリに分類される。
    論文  参考訳(メタデータ)   (Wed, 10 Nov 2021 02:28:08 GMT)
    • 最近よく話題になるDeepLearningにおけるカーボンフットプリントのようなAIと環境との関わりのサーベイ。アーキテクチャ、学習、推論などモデル構築要素の他、データの使い方(Active LearningやFew shotなど)についても扱っている。各チャプターの整理図が良い感じでありがたい。