コンテンツへスキップ
- ELECTRA is a Zero-Shot Learner, Too [14.3]
「プレトレイン・プロンプト・予測」は「プレトレイン・ファイン・チューン」のパラダイムに比べて目覚ましい成果を上げている。 本稿では,代用トークン検出(RTD)に基づくプロンプト学習手法を提案する。 実験結果から,RTD-prompt 学習に基づくELECTRAモデルが驚くほど最先端のゼロショット性能を実現することが示された。
論文 参考訳（メタデータ） (Sun, 17 Jul 2022 11:20:58 GMT)
- CodeT: Code Generation with Generated Tests [49.6]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳（メタデータ） (Thu, 21 Jul 2022 10:18:37 GMT)- コードを自動生成する際、テストケースも生成、２つを使ってベストなソリューションを得る手法の提案。HumanEval でSoTAとのこと。
- Developing a Series of AI Challenges for the United States Department of the Air Force [38.3]
DAF-MIT AI Acceleratorは、AI研究者とDAFのミッション要件の間のギャップを埋めるための、DAFとMITの間のイニシアチブである。 DAF-MIT AI Acceleratorが支援するいくつかのプロジェクトは、多くの連邦AI研究優先順位に対処する公的な課題を開発している。 これらの課題は、大規模でAI対応のデータセットを公開し、オープンソースソリューションのインセンティブを与え、デュアルユースケーステクノロジの需要信号を作成することによって、優先順位を目標とする。
論文 参考訳（メタデータ） (Thu, 14 Jul 2022 16:13:40 GMT)- アメリカ空軍でのAI利用に関する紹介。データの公開やオープンソースが利用されているのが意外だった。
- “Why do so?” — A Practical Perspective on Machine Learning Security [21.5]
我々は139人の産業従事者との攻撃発生と懸念を分析した。 私たちの結果は、デプロイされた機械学習に対する現実世界の攻撃に光を当てています。 我々の研究は、現実の敵対的機械学習に関するさらなる研究の道を開くものだ。
論文 参考訳（メタデータ） (Mon, 11 Jul 2022 19:58:56 GMT)- AIに対する攻撃に関する調査で、100人以上を対象としており興味深い。Poisoningなどに危険性を感じている人が思ったよりも多いという印象。
- FashionViL: Fashion-Focused Vision-and-Language Representation Learning [129.5]
ファッション中心の視覚・言語(V+L)表現学習フレームワークFashionViLを提案する。 特に2つの本質的な属性とファッションV+Lデータを活用するために設計された、2つの新しいファッション特化事前学習タスクを含んでいる。 大規模な実験により、FashionViLは5つの下流タスクにまたがって新しい最先端の技術を達成していることがわかった。
論文 参考訳（メタデータ） (Sun, 17 Jul 2022 12:06:27 GMT)
- Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling? [91.8]
本稿では,10種類のモデルアーキテクチャのスケーリング挙動の系統的研究を行う。 アーキテクチャはスケーリングを行う上で重要な考慮事項であり、最高のパフォーマンスモデルが異なるスケールで変動可能であることを示す。
論文 参考訳（メタデータ） (Thu, 21 Jul 2022 15:50:22 GMT)- アーキテクチャによってスケーリング時の挙動が変わるかを調べた論文。大規模な実験でとても参考になる。直感通り「アーキテクチャはスケーリングを行う上で重要な考慮事項」とのこと。
- Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1]
さまざまなビデオ理解タスク(テキストビデオ検索、ビデオ質問応答など)を解決するためのユニバーサルビデオ言語モデルの構築は、機械学習分野に対するオープンチャレンジである。複数のビデオ理解タスクを、パフォーマンスと効率の妥協を伴わずに解決するための普遍的なビデオ言語モデルに対して、Cloverを紹介します。 新たなtri-modal alignment pre-trainingタスクにより、クロスモーダル特徴のアライメントと融合を改善する。 Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
論文 参考訳（メタデータ） (Sat, 16 Jul 2022 09:38:52 GMT)
- Bia Mitigation for Machine Learning Classifiers: A Comprehensive Survey [25.3]
本稿では,機械学習(ML)モデルにおける公平性を実現するためのバイアス緩和手法を包括的に調査する。 ML分類器のバイアス軽減に関する合計234の論文を収集する。 本論文では,既存のバイアス緩和手法について検討する。
論文 参考訳（メタデータ） (Thu, 14 Jul 2022 17:16:45 GMT)- 機械学習による分類器に対してバイアスを緩和する手法のサーベイ。200以上の論文がサーベイ対象であり、多種多様なアプローチ、手法があることに驚き。
- TASKOGRAPHY: Evaluating robot task planning over large 3D scene graphs [33.3]
TASKOGRAPHYは、3DSGを使った最初の大規模ロボットタスク計画ベンチマークである。 タスク条件付き3DSGスカラー化手法であるSCRUBを提案する。 また,学習ベースプランナが3DSG構造を活用できる手法であるSEEKを提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 11 Jul 2022 16:51:44 GMT)
- Inner Monologue: Embodied Reasoning through Planning with Language Models [81.1]
大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
論文 参考訳（メタデータ） (Tue, 12 Jul 2022 15:20:48 GMT)