コンテンツへスキップ
- Field Extraction from Forms with Unlabeled Data [53.9]
本研究では,未ラベルデータを用いたフォームからフィールド抽出を行う新しいフレームワークを提案する。 我々は,未ラベル形式からノイズの多い擬似ラベルをマイニングするためのルールベース手法を開発した。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 8 Oct 2021 17:50:12 GMT)- ルールベースの手法で疑似ラベルを付与して学習、その後transformerベースの手法でモデルを改善していくという手法でField Extractionを行うという論文。現実的な対応という感じがして参考になる。論文で指摘されているようにセンシティブな情報が含まれていることも多いのでアノテーションを行わない（行うにしても少なくて済む）手法は重要。
- MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer [24.5]
モバイルデバイス用の軽量ビジョントランスフォーマであるMobileViTを紹介する。 以上の結果から,MobileViT は CNN および ViT ベースのネットワークを,タスクやデータセット間で大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 17:07:53 GMT)- パラメータ数が同等のMobileNetv3(CNN系)、DeIT(ViT系)を上回る性能を出せる軽量なVision Transformerの報告。結局、ViTs are slower than CNNsって・・・とは思わなくはないが、Transformerの利用は広まっているのでハードウェア演算による支援が普通になる未来を期待。
- この論文はAppleからだしTransformer向けの計算支援をiPhoneに組み込んでほしい。（そしてFuguMTも高速化させたい）
- Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy [68.9]
異常の希少性のため, 系列全体と強い関連性を構築することは困難であり, 関連性は主に隣接点に集中していることが観察された。 通常の点と異常点の間に本質的に区別可能な基準を示しており、これはAssociation Discrepancy として強調する。関係の一致を計算するために,Anomaly-Attention機構を備えたAnomaly-Transformer を提案する。Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する
論文 参考訳（メタデータ） (Wed, 6 Oct 2021 10:33:55 GMT)- Transformerを用いて優れた性能の異常検知が可能との論文。概要の通り単純なTransforerではない。Ablation studyの分析が面白い。
- VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding [13.6]
我々は、ゼロショットビデオとテキスト理解のための統一モデルを事前訓練するための対照的なアプローチであるVideoCLIPを提案する。 VideoCLIPは、ビデオとテキストの変換器を、近隣の検索から強陰性で時間的に重なり合うビデオテキストペアと対比することによって訓練する。
論文 参考訳（メタデータ） (Tue, 28 Sep 2021 23:01:51 GMT)
- Survey: Transformer based Video-Language Pre-training [28.9]
本調査は,ビデオ言語学習のためのトランスフォーマーに基づく事前学習手法を概観することを目的としている。 まず、注意機構、位置符号化などを含む背景知識を紹介する。 シングルストリームとマルチストリーム構造に分類し、イノベーションを強調し、パフォーマンスを比較する。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 21 Sep 2021 02:36:06 GMT)- 映像と言語を扱うTransformerの事前学習に関するサーベイ。モデルだけではなくデータセットも整理されている。16ページと短めだがとても参考になる。CC BYと翻訳可能なライセンスであることもありがたい。（注：残念ながらFuguMTが綺麗に訳せている事は意味しない）
- TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models [47.5]
本稿では,事前学習した画像変換器とテキスト変換器モデル,すなわちTrOCRを用いたエンドツーエンドのテキスト認識手法を提案する。 TrOCRは単純だが効果的であり、大規模な合成データで事前訓練し、人間のラベル付きデータセットで微調整することができる。 実験により、TrOCRモデルは、印刷されたテキスト認識タスクと手書きのテキスト認識タスクの両方において、現在の最先端モデルよりも優れていることが示された。
論文 参考訳（メタデータ） (Tue, 21 Sep 2021 16:01:56 GMT)
- Primer: Searching for Efficient Transformers for Language Modeling [79.3]
大型トランスフォーマーモデルのトレーニングと推論コストは急速に増加し、高価になっている。 ここでは、より効率的な変種を探すことにより、トランスフォーマーのコストを削減することを目的とする。 私たちは、オリジナルのTransformerよりもトレーニングコストの少ないPrimerというアーキテクチャを特定します。
論文 参考訳（メタデータ） (Fri, 17 Sep 2021 17:50:39 GMT)- Transformerの構造に手を入れ効率の高いアーキテクチャを進化的な手法で探索。500MパラメータのT5相当の実装で4.2倍の学習コスト削減を達成するPrimerというアーキテクチャを見つけたとの報告。主要な変更点は「Squared ReLU」と「MDHA: Multi-DConv-Head Attention （深さ方向のconvolution layerをQ, K, V projectionの後に配置）」。Primerはこの2点以外にも様々な修正が加えられているが、この変更のみを行ったバージョン（Primer-EZ）でも高い効果があるとのこと。著者はまずPrimer-EZで高速化効果を試し必要に応じて完全なPrimerを導入することを推奨している。
- リポジトリはhttps://github.com/google-research/google-research/tree/master/primer
- What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers [16.6]
GPT-3は、数千億の大規模データに基づいて訓練された大規模言語モデル(LM)の、卓越したコンテキスト内学習能力を示す。 韓国中心の560Bトークンコーパスでトレーニングした82B GPT-3の韓国版、HyperCLOVAを紹介する。 我々は、プロンプトベースの学習のパフォーマンスの利点を示し、プロンプトエンジニアリングパイプラインにどのように組み込むことができるかを示す。
論文 参考訳（メタデータ） (Fri, 10 Sep 2021 03:32:19 GMT)- NAVERが構築した大規模事前学習モデルHyperCLOVAの論文。few-shotやPrompt tuningによる高い性能を確認。社内でHyperCLOVA StudioというNo Code AI paradigmを利用しているとのこと。
- MATE: Multi-view Attention for Table Transformer Efficiency [21.5]
ウェブ上のリレーショナルテーブルの20%以上が20行以上の行を持っている。 現在のTransformerモデルは一般的に512トークンに制限されている。 本稿では,Webテーブルの構造をモデル化する新しいトランスフォーマーアーキテクチャであるMATEを提案する。
論文 参考訳（メタデータ） (Thu, 9 Sep 2021 14:39:30 GMT)- WEBページなどによくあるテーブル構造をモデル化可能な（シーケンス長が長く効率的な）transformerモデルを提案、HybridQAなどでsotaとのこと。
- 一般的に表形式データが混在したWEBページの扱いは難しいのでこの研究には興味津々。
- NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.9]
テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数字埋め込みを利用して、数字の仮数をエンコードし、個別の埋め込み方法によって数字の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
論文 参考訳（メタデータ） (Tue, 7 Sep 2021 15:06:12 GMT)- テキストの中の数値を通常の文字とは異なる扱いとする事前学習モデルの提案。数値関連のデータについて性能が向上したとのこと。
- 機械翻訳でも数値の取り扱いに苦労することが多い。機械的に対訳ペアを生成したデータセットの多くが数値関連の問題を抱えていることからも、数値を別扱いするというのは良い方法のように思える。