NewsStories

  • NewsStories: Illustrating articles with visual summaries [49.9]
    我々は,3300万記事,2200万画像,100万ビデオを含む大規模マルチモーダルデータセットを提案する。 現状の画像テキストアライメント手法は、複数の画像を持つ長い物語に対して堅牢ではないことを示す。 本稿では,GoodNewsデータセット上で,ゼロショット画像セット検索において,これらの手法を10%向上させる直感的なベースラインを提案する。
    論文  参考訳（メタデータ）   (Tue, 26 Jul 2022 17:34:11 GMT)

RealTime QA

  • RealTime QA: What’s the Answer Right Now? [113.0]
    本稿では,動的質問応答(QA)プラットフォームであるRealTime QAを紹介する。 GPT-3は、新しく検索された文書に基づいて、しばしばその生成結果を適切に更新することができる。 検索した文書が回答を見つけるのに十分な情報を提供していない場合、GPT-3は時代遅れの回答を返す傾向にある。
    論文  参考訳（メタデータ）   (Wed, 27 Jul 2022 07:26:01 GMT)
    • QAを現実世界、実時間で評価していく取り組み。Question Answeringモデルの実運用が現実的なのか知る上でも非常に興味深い。
    • プロジェクトサイトはHome | RealTime QA

MLRIP: 軍事用テキストマイニングのための事前学習モデル

  • MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.0]
    現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
    論文  参考訳（メタデータ）   (Thu, 28 Jul 2022 07:39:30 GMT)
    • 軍事のように通常のテキストとは大きく異なるドメイン向けの事前学習モデルの提案。軍事関連の外部知識を取り入れるためにマスキング戦略を修正している。
    • ドメイン特化により（当然だが）性能が向上するとのこと。

データ中心の疫学予測のサーベイ

  • Data-Centric Epidemic Forecasting: A Survey [57.0]
    この調査は、様々なデータ駆動の方法論および実践的進歩を掘り下げるものである。 疫学的なデータセットと,流行予測に関連する新しいデータストリームを列挙する。 また,これらの予測システムの現実的な展開において生じる経験や課題についても論じる。
    論文  参考訳（メタデータ）   (Wed, 20 Jul 2022 05:13:18 GMT)
    • 疫学的な予測とData-Centricに関するサーベイ。統計的手法、機械学習的手法の違いなども参考になる。引用数373。

EEG2Vec

  • EEG2Vec: Learning Affective EEG Representations via Variational Autoencoders [27.3]
    我々は、感情的な刺激に反応して、潜在ベクトル空間におけるニューラルデータを表現することが、両方の感情状態を予測するのに役立つかどうかを考察する。 脳波データから生成的識別的表現を学習するための条件付き変分オートエンコーダベースのフレームワークであるEEG2Vecを提案する。
    論文  参考訳（メタデータ）   (Sat, 16 Jul 2022 19:25:29 GMT)
    • 2vec系、脳波版

データリークと再現性

  • Leakage and the Reproducibility Crisis in ML-based Science [5.1]
    データ漏洩は確かに広範な問題であり、深刻な失敗につながっていることを示す。 教科書の誤りからオープンな研究問題まで,8種類の漏洩の詳細な分類法を提示する。 本稿では,MLモデルに基づく科学的主張を報告するためのモデル情報シートを提案する。
    論文  参考訳（メタデータ）   (Thu, 14 Jul 2022 16:44:59 GMT)
    • （いろいろな分野で指摘されているが）学術論文の中には再現性が不十分な例がみられる。機械学習の利用ではleakageなどによってそれが起きていることがあるとの指摘。悪意があるか否かはおいておいて、機械学習モデルを正しく評価するのは難しいという印象。この論文に指摘された問題はとても参考になる。
    • プロジェクトサイトはLeakage and the Reproducibility Crisis in ML-based Science (princeton.edu)、WORDのチェックシートも提供されている。

ELECTRAとプロンプト

CodeT: テストケース生成＆コード生成

  • CodeT: Code Generation with Generated Tests [49.6]
    テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
    論文  参考訳（メタデータ）   (Thu, 21 Jul 2022 10:18:37 GMT)
    • コードを自動生成する際、テストケースも生成、２つを使ってベストなソリューションを得る手法の提案。HumanEval でSoTAとのこと。

アメリカ空軍でのAI利用

  • Developing a Series of AI Challenges for the United States Department of the Air Force [38.3]
    DAF-MIT AI Acceleratorは、AI研究者とDAFのミッション要件の間のギャップを埋めるための、DAFとMITの間のイニシアチブである。 DAF-MIT AI Acceleratorが支援するいくつかのプロジェクトは、多くの連邦AI研究優先順位に対処する公的な課題を開発している。 これらの課題は、大規模でAI対応のデータセットを公開し、オープンソースソリューションのインセンティブを与え、デュアルユースケーステクノロジの需要信号を作成することによって、優先順位を目標とする。
    論文  参考訳（メタデータ）   (Thu, 14 Jul 2022 16:13:40 GMT)
    • アメリカ空軍でのAI利用に関する紹介。データの公開やオープンソースが利用されているのが意外だった。

AI/機械学習に対する攻撃のアンケート調査

  • “Why do so?” — A Practical Perspective on Machine Learning Security [21.5]
    我々は139人の産業従事者との攻撃発生と懸念を分析した。 私たちの結果は、デプロイされた機械学習に対する現実世界の攻撃に光を当てています。 我々の研究は、現実の敵対的機械学習に関するさらなる研究の道を開くものだ。
    論文  参考訳（メタデータ）   (Mon, 11 Jul 2022 19:58:56 GMT)
    • AIに対する攻撃に関する調査で、100人以上を対象としており興味深い。Poisoningなどに危険性を感じている人が思ったよりも多いという印象。