投稿者: staka

T-PTLM(Transformer-based Pretrained Language Models)のサーベイ

  • AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing [0.0]
    トランスフォーマーベースの事前訓練言語モデル(T-PTLM)は、ほぼすべてのNLPタスクで大きな成功を収めている。 変換されたPTLMは、自己教師付き学習を用いて大量のテキストデータから普遍的な言語表現を学習する。 これらのモデルは、下流モデルのスクラッチからのトレーニングを避けるために、下流タスクに適切なバックグラウンド知識を提供する。
    論文  参考訳（メタデータ）   (Thu, 12 Aug 2021 05:32:18 GMT)
    • 最近よく見るTransformerを用いた大規模事前学習モデルのサーベイ。42ページ、引用数304でこの分野を広範に調査、整理している。

FoodLogoDet-1500：大規模な食品ロゴのデータセット

  • FoodLogoDet-1500: A Dataset for Large-Scale Food Logo Detection via Multi-Scale Feature Decoupling Network [55.5]
    高度な食品ロゴ検出アルゴリズムを開発するには、大規模な食品ロゴデータセットが緊急に必要である。 FoodLogoDet-1500は、1500のカテゴリ、約10万の画像、約15万個の手動で注釈付けされた食品ロゴオブジェクトを備えた、新しい大規模一般公開の食品ロゴデータセットである。 食品のロゴを識別する手法として,MFDNet(Multi-scale Feature Decoupling Network)を提案する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Tue, 10 Aug 2021 12:47:04 GMT)
    • 食品のロゴをアノテーションしたデータセット。15Kカテゴリ、100K画像、150Kオブジェクトと大規模。著者らはMFDNetというモデルを提案、他の様々な手法に比べて優れていたと報告している。
    • リポジトリはhttps://github.com/hq03/FoodLogoDet-1500-Dataset、現時点ではデータはアップロードされていないよう。

摂動入力によるNLPモデル解釈への影響

  • Perturbing Inputs for Fragile Interpretations in Deep Natural Language Processing [18.9]
    解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。 本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
    論文  参考訳（メタデータ）   (Wed, 11 Aug 2021 02:07:21 GMT)
    • 単語をスワップすることによってLIMEやINTEGRATED GRADIENTの解釈に影響を与えることができるかを検証した論文。解釈性へ影響を与えることが可能とのこと。
    • 「there has been little analysis of the reliability and robustness of the explanation techniques」という指摘は重要。

CIRR( Composed Image Retrieval on Real-life images)データセットとCIRPLANT(Composed Image Retrieval using Pretrained LANguage Transformers )モデル

  • Image Retrieval on Real-life Images with Pre-trained Vision-and-Language Models [41.7]
    合成画像検索のタスクを拡張し、入力クエリは画像と、画像の修正方法に関する短いテキスト記述から構成される。 CIRPLANTは、自然言語で条件付けられた視覚的特徴を修正するために、学習済みの視覚と言語(V&L)の知識を豊富に活用するトランスフォーマーモデルである。 比較的単純なアーキテクチャで、CIRPLANTは、ファッションのような既存の狭いデータセットの最先端の精度を一致させながら、オープンドメイン画像の既存の手法よりも優れていることを示す。
    論文  参考訳（メタデータ）   (Mon, 9 Aug 2021 13:25:06 GMT)
  • テキストによるフィードバックを条件とする画像検索を前提にデータセットとモデルを提案している。論文またはプロジェクトサイトの具体例を見るのが分かりやすいが、「1匹の犬の画像」と「同じ犬種の2匹が床にいる」というテキストを与えて「同じ犬種の2匹の犬が床にいる」画像を探すというタスク。マルチモーダルの取り扱いが必要で実用的なタスクのように感じる。
  • プロジェクトサイトはhttps://cuberick-orion.github.io/CIRR/

Neural paintingのためのPaint Transformer、画像に対するストローク生成

  • Paint Transformer: Feed Forward Neural Painting with Stroke Prediction [36.5]
    我々は,フィードフォワードネットワークを用いたストロークセットのパラメータを予測するために,Paint Transformerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。 このようにして、我々のモデルは並列に一組のストロークを生成でき、ほぼリアルタイムでサイズ512 * 512の最終的な絵を得ることができる。 実験により,本手法はトレーニングコストと推論コストの低減により,従来の手法よりも優れた塗装性能が得られることが示された。
    論文  参考訳（メタデータ）   (Mon, 9 Aug 2021 04:18:58 GMT)
    • ニューラル・ペインティング(Neural painting)では、ある画像に対して一連のストロークを生成し絵画として再現する。強化学習を用いるアプローチではなく、予測問題として問題を定式化してTransformerベースのアーキテクチャで解いたとの報告。リポジトリにあるAnimated Outputが分かりやすい。
    • self-training pipelineをうまく組んだ構成となっており、問題に対するアプローチを検討するうえで参考になる。
    • リポジトリはhttps://github.com/Huage001/PaintTransformer

AutoVideo: ビデオからの行動認識AutoML

  • AutoVideo: An Automated Video Action Recognition System [38.4]
    AutoVideoは、自動ビデオアクション認識のためのPythonシステムである。 7つのアクション認識アルゴリズムと様々な前処理モジュールをサポートする。 AutoMLのサーチと簡単に組み合わせることができる。
    論文  参考訳（メタデータ）   (Mon, 9 Aug 2021 17:53:32 GMT)

OCRで作成されたテキストに対するNLP

  • Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents [2.6]
    我々は、下流のNLPタスクに対してOCRエラーを軽減するための効果的なフレームワークを実証する。 まず,文書合成パイプラインを構築することにより,モデル学習におけるデータ不足問題に対処する。 コミュニティの利益のために、私たちはドキュメント合成パイプラインをオープンソースプロジェクトとして利用可能にしました。
    論文  参考訳（メタデータ）   (Fri, 6 Aug 2021 00:32:54 GMT)
    • OCRで作られたテキストに対するNLPは通常のテキストと異なる問題が多々ある。この論文ではNERを対象にOCRにありがちなエラーを再現するフレームワークを構築し、合成データを増やしてデータ不足に対応するアプローチを紹介している。

StrucTexT:マルチモーダルな構造化テキスト理解

  • StrucTexT: Structured Text Understanding with Multi-Modal Transformers [29.5]
    Visually Rich Documents (VRD)における構造化テキスト理解は、ドキュメントインテリジェンスの重要な部分である。 本稿では,SrucTexTという統合フレームワークを提案する。 セグメントレベルおよびトークンレベルで構造化されたテキスト理解の手法を評価し,その手法が最先端のテキスト理解よりも優れていることを示す。
    論文  参考訳（メタデータ）   (Fri, 6 Aug 2021 02:57:07 GMT)
    • 構造化されたドキュメントの画像を理解するタスクは現実的に多いがOCRとは似て非なる難しさがある。通常entity labelingとentity linkingの2つのタスクに分解して解くとのことだが、この論文では2つを統一的に扱う構造を提案、SROIE: Scanned Receipts OCR and Information ExtractionやFUNSD: A Dataset for Form Understanding in Noisy Scanned Documentsなどで優れた性能を出したとのこと。

UniCon(Unified Context Network): アクティブな話者検出

  • UniCon: Unified Context Network for Robust Active Speaker Detection [111.9]
    我々は、堅牢なアクティブ話者検出(ASD)のための新しい効率的なフレームワークUnified Context Network(UniCon)を導入する。 私たちのソリューションは、複数の種類のコンテキスト情報を共同でモデリングすることに焦点を当てた、新しく統合されたフレームワークです。 異なる設定下で、いくつかの挑戦的なASDベンチマークで徹底的なアブレーション研究が実施されている。
    論文  参考訳（メタデータ）   (Thu, 5 Aug 2021 13:25:44 GMT)

AI Economist: 強化学習を用いた課税モデルの検証

  • The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning [126.4]
    機械学習に基づく経済シミュレーションは強力な政策・メカニズム設計の枠組みであることを示す。 AIエコノミスト(AI Economist)は、エージェントと共同適応するソーシャルプランナーの両方を訓練する2段階のディープRLフレームワークである。 単純な一段階の経済では、AIエコノミストは経済理論の最適税制を再現する。
    論文  参考訳（メタデータ）   (Thu, 5 Aug 2021 17:42:35 GMT)
    • 深層強化学習を政策に取り入れられるかを検討・シミュレーションした研究。複雑な状況でも動作し、突発的な戦略的行動（≒節税的行動）があった場合も対応していくとのこと。現実に利用可能かはおいておいて興味深い研究だと思う。
    • ソースコードはhttps://github.com/salesforce/ai-economist、Salesforce Researchのhttps://einstein.ai/the-ai-economist関連のプロジェクト。
  • Building a Foundation for Data-Driven, Interpretable, and Robust Policy Design using the AI Economist [67.1]
    AIエコノミストフレームワークは,2段階強化学習とデータ駆動型シミュレーションを用いて,効果的な,柔軟な,解釈可能なポリシー設計を可能にする。 RLを用いて訓練されたログリニア政策は、過去の結果と比較して、公衆衛生と経済の両面から社会福祉を著しく改善することがわかった。
    論文  参考訳（メタデータ）   (Fri, 6 Aug 2021 01:30:41 GMT)
    • 関連する報告があったため追加。