動画生成GODIVA

  • GODIVA: Generating Open-DomaIn Videos from nAtural Descriptions [45.6]
    テキストから動画を自動レグレッシブに生成できるオープンドメインのテキスト・トゥ・ビデオプリトレーニングモデル「GODIVA」を提案する。 Howto100Mは、1億1600万以上のテキストビデオペアを含む大規模なテキストビデオデータセットです。 実験により、GODIVAは下流のビデオ生成タスクでファインチューニングできるだけでなく、初見のテキストでも優れたゼロショット機能を持つことが示された。
    論文  参考訳（メタデータ）   (Fri, 30 Apr 2021 07:40:35 GMT)
    • テキストからの動画生成に関する論文。この手のモデルの高機能が進んでいる。ここでは（も）正しい評価は課題のよう。CLIPを用いた評価戦略に有効性が認められたのはBERT系手法を評価に用いる自然言語処理に似ている。ソースコード等は今後公開とのこと。

自然言語処理タスクをEntailmentタスクへ変換して解く

  • Entailment as Few-Shot Learner [20.7]
    プリトレーニング済みの小さな言語モデルを、より優れた少人数学習者に変える新しいアプローチを提案します。 このアプローチの鍵となる考え方は、潜在的NLPタスクをentailmentタスクに再構成し、モデルを8つの例で微調整することである。 提案手法は, (i) 教師なしのコントラスト学習に基づくデータ拡張法と自然に組み合わされ, (ii) 多言語限定学習に容易に拡張できることを示す。 18 の標準 NLP タスクの体系的評価は,既存の SOTA 数ショット学習手法を 12 % 改善し,GPT-3 などの500 倍のモデルで競合的な数ショット性能が得られることを示す。
    論文  参考訳（メタデータ）   (Thu, 29 Apr 2021 22:52:26 GMT)
    • 自然言語関連の様々なタスクをうまく変換し、含意タスクとして解くという論文。汎用的なエンジンに近づいていく方向性のように思える。

AIアルゴリズムからバイアスを見つける

  • Discover the Unknown Biased Attribute of an Image Classifier [39.8]
    最近の研究では、AIアルゴリズムはデータからバイアスを学習する。 AIアルゴリズムのバイアスを特定することは緊急かつ不可欠である。 以前のバイアス識別パイプラインは、潜在的なバイアスを推測するために人間の専門家に依存している。 人間の専門家がAIアルゴリズムのバイアスをよりよく見つけるのを助けるために、この研究で新しい問題を研究する。入力画像のターゲット属性を予測する分類器で、その未知のバイアス属性を発見する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 29 Apr 2021 17:59:30 GMT)

テキスト生成と攻撃

  • Text Generation with Deep Variational GAN [16.3]
    モード崩壊問題に対処するために,GANベースのジェネリックフレームワークを提案する。 私たちのモデルは高い多様性で現実的なテキストを生成できることを示します。
    論文  参考訳（メタデータ）   (Tue, 27 Apr 2021 21:42:13 GMT)
    • GAN利用したテキスト生成。
  • Improved and Efficient Text Adversarial Attacks using Target Information [34.5]
    ブラックボックス設定における自然言語モデルの逆例の研究への関心が高まっている。 以前の高価な検索ではなく、解釈可能な学習によって単語のランク付けを学ぶ新しいアプローチが導入された。 このアプローチを使用する主な利点は、最先端のメソッドに匹敵する攻撃率を達成できるが、高速でクエリが少ないことである。
    論文  参考訳（メタデータ）   (Tue, 27 Apr 2021 21:25:55 GMT)
    • 自然言語処理に対する攻撃、効率性が特徴。

GANを使ったXAI

  • Explaining in Style: Training a GAN to explain a classifier in StyleSpace [75.8]
    本稿では,画像の意味的属性を説明するための生成モデルの学習法であるstylexを提案する。 StylExは、セマンティックとよく調和し、意味のある画像固有の説明を生成し、人間に解釈できる属性を見つけます。 その結果,この手法はセマンティックとよく一致し,意味のある画像特異的な説明を生成し,人間と解釈できる属性を見出した。
    論文  参考訳（メタデータ）   (Tue, 27 Apr 2021 17:57:19 GMT)
    • GANを使って人が理解可能な説明をしようという研究。サンプル画像が興味深い。

大規模モデルPanGu

  • PanGu-$\alpha$: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation [58.3]
    PanGu-$alpha$という,最大2000億パラメータの大規模オートレグレッシブ言語モデルをトレーニングするプラクティスを紹介します。 PanGu-$alpha$はMindSporeの下で開発され、2048 Ascend 910 AIプロセッサのクラスタでトレーニングされている。
    論文  参考訳（メタデータ）   (Mon, 26 Apr 2021 06:59:36 GMT)
    • 中国の大規模モデル、様々な工夫によって得られた1.1TBのデータを使用。ベンチマークでも好成績とのこと。
    • ハードウェアも内製？

Infographic QAデータセット

  • InfographicVQA [31.1]
    InfographicVQAは、さまざまなインフォグラフィックコレクションと自然言語の質問と回答アノテーションを含む、新しいデータセットである。 基本推論と基本算術スキルを必要とする質問に重点を置いたデータセットをキュレートする。 データセット、コード、およびリーダーボードはhttp://docvqa.orgで入手できる。
    論文  参考訳（メタデータ）   (Mon, 26 Apr 2021 17:45:54 GMT)
    • かなり解くのが難しい問題に思えるデータセットだが、2020年のチャレンジではそれなりのスコアが出ているのが凄い。https://icdar2021.org/で行われるチャレンジ用。

音声を対象とした自己教師あり学習

  • LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.8]
    膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 近年では音声からのSSLも検討されている。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
    論文  参考訳（メタデータ）   (Fri, 23 Apr 2021 08:27:09 GMT)

機械学習と二酸化炭素

  • Carbon Emissions and Large Neural Network Training [19.2]
    我々は最近の大型モデルT5, Meena, GShard, Switch Transformer, GPT-3のエネルギー使用量と炭素フットプリントを算出する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調します。 MLの炭素フットプリントを減らすために、エネルギー使用量とCO2eはモデルを評価する上で重要な指標であるべきだと考えています。
    論文  参考訳（メタデータ）   (Thu, 22 Apr 2021 17:57:23 GMT)
    • 大規模モデル構築時の二酸化炭素排出量等を扱った論文。重要な視点であるとともに著者のGoogleで議論のあった話題でもある。

ポリシー融合

  • Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents [137.9]
    異なる行動政策を結合して有意義な「融合」政策を得る方法を示す。 事前学習されたポリシーを組み合わせるための4つの異なるポリシー融合手法を提案する。 これらの手法がゲーム制作や設計に実際どのように役立つのか,実例とユースケースをいくつか紹介する。
    論文  参考訳（メタデータ）   (Wed, 21 Apr 2021 16:08:44 GMT)
    • 主としてゲーム（NPCの動き）を対象にPolicyの融合を取り扱った論文。多様性を生み出す上では重要な気がする。