VidLanKD(Video-Language Knowledge Distillation method):動画-テキストデータを用いた事前学習

  • VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer [76.4]
    言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。 我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。 我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。 
    論文  参考訳(メタデータ)   (Tue, 6 Jul 2021 15:41:32 GMT)
    • ビデオテキストデータセットでまずマルチモーダルモデルを構築、蒸留の枠組みで言語モデル構築に利用する研究。SQuAD等のデータセットで効果を確認したとのこと。画像とテキストの融合が、テキストオンリーのタスクにも有効というのが興味深い。

Long-Short Transformer: 言語・画像ともに有効なアテンション機構

  • Long-Short Transformer: Efficient Transformers for Language and Vision [97.3]
    Long-Short Transformer, Transformer-LSは、言語タスクと視覚タスクの両方に線形な複雑さを持つ長いシーケンスをモデリングするための効率的な自己アテンション機構である。 遠距離相関をモデル化するためのダイナミックプロジェクションと、局所相関を微細に捉えるための短期的注意を組み込んだ、新しい長距離の注意を集約する。 提案手法は,Long Range Arenaベンチマーク,自動回帰言語モデリング,イメージネット分類など,言語と視覚領域の複数のタスクにおける最先端モデルよりも優れている。
    論文  参考訳(メタデータ)   (Mon, 5 Jul 2021 18:00:14 GMT)
    • long rangeな相関、局所的な特徴の組み合わせによって性能を向上させたtransformer。言語(LRA benchmark)ではReformer, Linformer, Performer, Nyströmformerなど効率性を狙ったtransformer型モデルより高性能、言語モデル構築ではメモリ使用量が少なく高速に学習でき優れた性能。画像(imagenet)ではCvTやViLよりも本件機構を組み込んだものの方が高性能とのこと。
    • The models and source code will be released soon.とのことでコード等も公開されるよう。