データ中心の疫学予測のサーベイ

  • Data-Centric Epidemic Forecasting: A Survey [57.0]
    この調査は、様々なデータ駆動の方法論および実践的進歩を掘り下げるものである。 疫学的なデータセットと,流行予測に関連する新しいデータストリームを列挙する。 また,これらの予測システムの現実的な展開において生じる経験や課題についても論じる。
    論文  参考訳(メタデータ)   (Wed, 20 Jul 2022 05:13:18 GMT)
    • 疫学的な予測とData-Centricに関するサーベイ。統計的手法、機械学習的手法の違いなども参考になる。引用数373。

EEG2Vec

  • EEG2Vec: Learning Affective EEG Representations via Variational Autoencoders [27.3]
    我々は、感情的な刺激に反応して、潜在ベクトル空間におけるニューラルデータを表現することが、両方の感情状態を予測するのに役立つかどうかを考察する。 脳波データから生成的識別的表現を学習するための条件付き変分オートエンコーダベースのフレームワークであるEEG2Vecを提案する。
    論文  参考訳(メタデータ)   (Sat, 16 Jul 2022 19:25:29 GMT)
    • 2vec系、脳波版

データリークと再現性

  • Leakage and the Reproducibility Crisis in ML-based Science [5.1]
    データ漏洩は確かに広範な問題であり、深刻な失敗につながっていることを示す。 教科書の誤りからオープンな研究問題まで,8種類の漏洩の詳細な分類法を提示する。 本稿では,MLモデルに基づく科学的主張を報告するためのモデル情報シートを提案する。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 16:44:59 GMT)
    • (いろいろな分野で指摘されているが)学術論文の中には再現性が不十分な例がみられる。機械学習の利用ではleakageなどによってそれが起きていることがあるとの指摘。悪意があるか否かはおいておいて、機械学習モデルを正しく評価するのは難しいという印象。この論文に指摘された問題はとても参考になる。
    • プロジェクトサイトはLeakage and the Reproducibility Crisis in ML-based Science (princeton.edu)、WORDのチェックシートも提供されている。

ELECTRAとプロンプト

CodeT: テストケース生成&コード生成

  • CodeT: Code Generation with Generated Tests [49.6]
    テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
    論文  参考訳(メタデータ)   (Thu, 21 Jul 2022 10:18:37 GMT)
    • コードを自動生成する際、テストケースも生成、2つを使ってベストなソリューションを得る手法の提案。HumanEval でSoTAとのこと。

アメリカ空軍でのAI利用

  • Developing a Series of AI Challenges for the United States Department of the Air Force [38.3]
    DAF-MIT AI Acceleratorは、AI研究者とDAFのミッション要件の間のギャップを埋めるための、DAFとMITの間のイニシアチブである。 DAF-MIT AI Acceleratorが支援するいくつかのプロジェクトは、多くの連邦AI研究優先順位に対処する公的な課題を開発している。 これらの課題は、大規模でAI対応のデータセットを公開し、オープンソースソリューションのインセンティブを与え、デュアルユースケーステクノロジの需要信号を作成することによって、優先順位を目標とする。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 16:13:40 GMT)
    • アメリカ空軍でのAI利用に関する紹介。データの公開やオープンソースが利用されているのが意外だった。

AI/機械学習に対する攻撃のアンケート調査

  • “Why do so?” — A Practical Perspective on Machine Learning Security [21.5]
    我々は139人の産業従事者との攻撃発生と懸念を分析した。 私たちの結果は、デプロイされた機械学習に対する現実世界の攻撃に光を当てています。 我々の研究は、現実の敵対的機械学習に関するさらなる研究の道を開くものだ。
    論文  参考訳(メタデータ)   (Mon, 11 Jul 2022 19:58:56 GMT)
    • AIに対する攻撃に関する調査で、100人以上を対象としており興味深い。Poisoningなどに危険性を感じている人が思ったよりも多いという印象。

FashionViL: ファッションにフォーカスした画像-言語モデル

  • FashionViL: Fashion-Focused Vision-and-Language Representation Learning [129.5]
    ファッション中心の視覚・言語(V+L)表現学習フレームワークFashionViLを提案する。 特に2つの本質的な属性とファッションV+Lデータを活用するために設計された、2つの新しいファッション特化事前学習タスクを含んでいる。 大規模な実験により、FashionViLは5つの下流タスクにまたがって新しい最先端の技術を達成していることがわかった。
    論文  参考訳(メタデータ)   (Sun, 17 Jul 2022 12:06:27 GMT)
    • ファッション用のRepresentation Learningフレームワークの提案。MVC: Multi-view contrastive learning (ファッションの画像は様々な方向から撮影されていることを利用)、PAC: PseudoAttribute Classification (ファッションアイテムで同じ属性を持つものをまとめられる)などを利用し複数のタスクでSoTAを主張。
      • ドメインに応じた事前学習の有効性が分かる結果だと思う
    • リポジトリはGitHub – BrandonHanx/mmf: [ECCV 2022] FashionViL: Fashion-Focused V+L Representation Learning

Scaling Laws vs Model Architectures

  • Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling? [91.8]
    本稿では,10種類のモデルアーキテクチャのスケーリング挙動の系統的研究を行う。 アーキテクチャはスケーリングを行う上で重要な考慮事項であり、最高のパフォーマンスモデルが異なるスケールで変動可能であることを示す。
    論文  参考訳(メタデータ)   (Thu, 21 Jul 2022 15:50:22 GMT)
    • アーキテクチャによってスケーリング時の挙動が変わるかを調べた論文。大規模な実験でとても参考になる。直感通り「アーキテクチャはスケーリングを行う上で重要な考慮事項」とのこと。

Clover: Correlated Video-Language pre-training method

  • Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1]
    さまざまなビデオ理解タスク(テキストビデオ検索、ビデオ質問応答など)を解決するためのユニバーサルビデオ言語モデルの構築は、機械学習分野に対するオープンチャレンジである。複数のビデオ理解タスクを、パフォーマンスと効率の妥協を伴わずに解決するための普遍的なビデオ言語モデルに対して、Cloverを紹介します。 新たなtri-modal alignment pre-trainingタスクにより、クロスモーダル特徴のアライメントと融合を改善する。  Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
    論文  参考訳(メタデータ)   (Sat, 16 Jul 2022 09:38:52 GMT)