AI/機械学習に対する攻撃のアンケート調査

  • “Why do so?” — A Practical Perspective on Machine Learning Security [21.5]
    我々は139人の産業従事者との攻撃発生と懸念を分析した。 私たちの結果は、デプロイされた機械学習に対する現実世界の攻撃に光を当てています。 我々の研究は、現実の敵対的機械学習に関するさらなる研究の道を開くものだ。
    論文  参考訳(メタデータ)   (Mon, 11 Jul 2022 19:58:56 GMT)
    • AIに対する攻撃に関する調査で、100人以上を対象としており興味深い。Poisoningなどに危険性を感じている人が思ったよりも多いという印象。

FashionViL: ファッションにフォーカスした画像-言語モデル

  • FashionViL: Fashion-Focused Vision-and-Language Representation Learning [129.5]
    ファッション中心の視覚・言語(V+L)表現学習フレームワークFashionViLを提案する。 特に2つの本質的な属性とファッションV+Lデータを活用するために設計された、2つの新しいファッション特化事前学習タスクを含んでいる。 大規模な実験により、FashionViLは5つの下流タスクにまたがって新しい最先端の技術を達成していることがわかった。
    論文  参考訳(メタデータ)   (Sun, 17 Jul 2022 12:06:27 GMT)
    • ファッション用のRepresentation Learningフレームワークの提案。MVC: Multi-view contrastive learning (ファッションの画像は様々な方向から撮影されていることを利用)、PAC: PseudoAttribute Classification (ファッションアイテムで同じ属性を持つものをまとめられる)などを利用し複数のタスクでSoTAを主張。
      • ドメインに応じた事前学習の有効性が分かる結果だと思う
    • リポジトリはGitHub – BrandonHanx/mmf: [ECCV 2022] FashionViL: Fashion-Focused V+L Representation Learning

Scaling Laws vs Model Architectures

  • Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling? [91.8]
    本稿では,10種類のモデルアーキテクチャのスケーリング挙動の系統的研究を行う。 アーキテクチャはスケーリングを行う上で重要な考慮事項であり、最高のパフォーマンスモデルが異なるスケールで変動可能であることを示す。
    論文  参考訳(メタデータ)   (Thu, 21 Jul 2022 15:50:22 GMT)
    • アーキテクチャによってスケーリング時の挙動が変わるかを調べた論文。大規模な実験でとても参考になる。直感通り「アーキテクチャはスケーリングを行う上で重要な考慮事項」とのこと。

Clover: Correlated Video-Language pre-training method

  • Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1]
    さまざまなビデオ理解タスク(テキストビデオ検索、ビデオ質問応答など)を解決するためのユニバーサルビデオ言語モデルの構築は、機械学習分野に対するオープンチャレンジである。複数のビデオ理解タスクを、パフォーマンスと効率の妥協を伴わずに解決するための普遍的なビデオ言語モデルに対して、Cloverを紹介します。 新たなtri-modal alignment pre-trainingタスクにより、クロスモーダル特徴のアライメントと融合を改善する。  Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
    論文  参考訳(メタデータ)   (Sat, 16 Jul 2022 09:38:52 GMT)

機械学習におけるバイアス緩和のサーベイ

  • Bia Mitigation for Machine Learning Classifiers: A Comprehensive Survey [25.3]
    本稿では,機械学習(ML)モデルにおける公平性を実現するためのバイアス緩和手法を包括的に調査する。 ML分類器のバイアス軽減に関する合計234の論文を収集する。 本論文では,既存のバイアス緩和手法について検討する。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 17:16:45 GMT)
    • 機械学習による分類器に対してバイアスを緩和する手法のサーベイ。200以上の論文がサーベイ対象であり、多種多様なアプローチ、手法があることに驚き。

TASKOGRAPHY, SCRUB, SEEK

Inner Monologue: 大規模言語モデルの計画への利用

  • Inner Monologue: Embodied Reasoning through Planning with Language Models [81.1]
    大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
    論文  参考訳(メタデータ)   (Tue, 12 Jul 2022 15:20:48 GMT)

OmniTab: 合成データを併用したTable QA

不公平なモデルをエビデンス付きで指摘するタスク:Revealing Unfair Models by mining Interpretable Evidence (RUMIE)

  • Revealing Unfair Models by Mining Interpretable Evidence [50.5]
    機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
    論文  参考訳(メタデータ)   (Tue, 12 Jul 2022 20:03:08 GMT)
    • 不公平さをエビデンス付きで明らかにするタスク・手法の提案
    • 社会実装のために重要な技術であると思う

言語モデルのリサイクル

  • Embedding Recycling for Language Models [38.1]
    我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55~86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
    論文  参考訳(メタデータ)  参考訳(全文)  (Mon, 11 Jul 2022 16:36:14 GMT)
    • layerを凍結させるのではなく、出力をキャッシュして学習等を高速化する仕組みの提案。(当然ながら)最初にデータすべてのrepresantaionを計算する必要がある。
    • リポジトリはGitHub – allenai/EmbeddingRecycling