タグ: Transformer

UFO (Unified Framework for Co-Object Segmentation)

DiT(Document Image Transformer): Transformer + MIMな事前学習による文書構造認識

  • DiT: Self-supervised Pre-training for Document Image Transformer [85.8]
    自己教師付き文書画像変換モデルであるDiTを提案する。 さまざまなビジョンベースのDocument AIタスクでは,バックボーンネットワークとしてDiTを活用しています。 実験結果から, 自己教師付き事前訓練型DiTモデルにより, 新たな最先端結果が得られることが示された。
    論文  参考訳（メタデータ）   (Fri, 4 Mar 2022 15:34:46 GMT)
    • Masked Image Modelingな大規模事前学習を行いDocument Image Transformerを構築、document image classification、document layout analysis、 table detectionでSoTAとのこと。OCRの前処理などに重要であり、モデルが公開されているのがありがたい。

DeepNet: 1000層のTransformer

  • DeepNet: Scaling Transformers to 1,000 Layers [106.3]
    トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
    論文  参考訳（メタデータ）   (Tue, 1 Mar 2022 15:36:38 GMT)

医療画像におけるTransformerのサーベイ

  • Transformers in Medical Image Analysis: A Review [46.7]
    本稿では,医療画像解析分野におけるトランスフォーマーの意識と応用を促進するために,位置紙とプライマーの両方を提示する。 具体的には、まず、Transformerや他の基本的なコンポーネントに組み込まれたアテンションメカニズムのコア概念について概説する。 第2に,医療画像の応用に適したトランスフォーマーアーキテクチャの新しい分類法を提案し,その限界について議論する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 24 Feb 2022 16:04:03 GMT)
    • 医療画像解析を対象にしたTransformerベースのモデルのサーベイ。すでに多くの事例があるが、多くの場合他分野のアーキテクチャを医療用に直接応用しており、高度な解析やモデルの問題（parallelization, interpretability, quantification and safetyが挙げられている）に焦点を当てたものは少ないとのこと。
      • ドメイン特化型のアーキテクチャは少ない？

SCRIPT(StruCtural RelatIve Position): ソースコードの要約

  • Source Code Summarization with Structural Relative Position Guided Transformer [19.8]
    ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。 近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。 SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
    論文  参考訳（メタデータ）   (Mon, 14 Feb 2022 07:34:33 GMT)
    • ソースコードの要約（ソースコードに対して短い自然言語の記述を生成）にTransformer型の構造を適用、優れた性能を達成。
      • （略称は無理やり感があるが）有用な研究、様々なアプローチがあり興味深い。
    • リポジトリはGitHub – GoneZ5/SCRIPT

WebFormer: WEBページからの情報抽出

  • WebFormer: The Web-page Transformer for Structure Information Extraction [44.5]
    構造情報抽出は、構造化されたテキストフィールドをWebページから抽出するタスクを指す。 シーケンスモデリングを用いた最近の自然言語モデルは、Web情報抽出における最先端の性能を実証している。 本稿では、Webドキュメントから構造情報を抽出するWebページトランスフォーマーモデルであるWebFormerを紹介する。
    論文  参考訳（メタデータ）   (Tue, 1 Feb 2022 04:44:02 GMT)
    • Webページの構造解析にTransformerベースの新たなモデルを提案、SWDEとCommon CrawlベンチマークでSoTAとのこと。単純なテキストベースの手法ではなく、エンコーダー部分にHTML-to-HTML(H2H)、HTML-to-Text(H2T)、Text-to-HTML(T2H)、Text-to-Text(T2T)など様々なアテンションを備えているのが特徴とのこと。

VRT(Video Restoration Transformer)

  • VRT: A Video Restoration Transformer [126.8]
    ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
    論文  参考訳（メタデータ）   (Fri, 28 Jan 2022 17:54:43 GMT)

Video Transformerのサーベイ

  • Video Transformers: A Survey [42.3]
    ビデオデータのモデル化にトランスフォーマーを適用するための貢献とトレンドについて検討する。 具体的には、ビデオの埋め込みとトークン化の方法を掘り下げて、大きなCNNバックボーンの非常にウィドスプレッドな使用法を見つけます。 また,ビデオトランスフォーマーの訓練に使用される自己監督的損失の分析を行った。
    論文  参考訳（メタデータ）   (Sun, 16 Jan 2022 07:31:55 GMT)
    • 動画処理にもTransformerが使われていることがよくわかるサーベイ

Data2vec: speech、vision、textで動作する自己教師有り学習

2vecの最終系かと思うData2vecが出ていた。Transformerをベースにタスク特有のエンコーディングを実施、objectiveは共通化されている状況でViT-B、wav2vec2/HuBERT、RoBERTaと競争的な性能とのこと。

論文はData2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language (facebook.com)、リポジトリはfairseq/examples/data2vec at main · pytorch/fairseq · GitHub

Omnivore: 多くのモダリティで効果的なモデル

  • Omnivore: A Single Model for Many Visual Modalities [47.9]
    以前の研究は、異なる視覚的モダリティを分離して研究し、画像、ビデオ、および3Dデータの認識のためのアーキテクチャを別々に開発してきた。 同一のモデルパラメータを用いて,画像,ビデオ,シングルビューの3Dデータの分類に優れる単一モデルを提案する。
    論文  参考訳（メタデータ）   (Thu, 20 Jan 2022 18:58:03 GMT)
    • 画像関連のデータ（普通の画像、動画、シングルビューの3D）について共通的に動作可能な（複数のモダリティに対応可能な）モデルの提案。リポジトリを見ると複数のタスクでSoTAを達成している。各モダリティ専用の構造でないにもかかわらず優れた性能を出せるのは驚き。