PolyViT: 複数種類のデータを一元的に扱うTransformer

  • PolyViT: Co-training Vision Transformers on Images, Videos and Audio [80.1]
    我々は、画像、オーディオ、ビデオに基づいて訓練されたモデルであるPolyViTを紹介する。 1つのモードで異なるタスクを共同トレーニングすることで、個々のタスクの精度を向上させることができる。 共同学習はシンプルで実践的であることを示す。
    論文  参考訳(メタデータ)   (Thu, 25 Nov 2021 10:01:05 GMT)
    • パラメータの多くを共有しつつ複数のモダリティを扱いえるアーキテクチャの提案。9つのimage-classification, video-classification, audio-classificationを同時に解決可能、3つのビデオと2つのオーディオデータセットでSoTAとのこと。前の投稿とも関連する報告。
      • Transfomerの強力さがよくわかると同時にモダリティ間に何らかの関連があるのだろうか。。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です