月: 2022年5月

Flamingo: DeepMindのVisual Language Models(VLM)

  • Flamingo: a Visual Language Model for Few-Shot Learning [95.9]
    この機能を備えたビジュアル言語モデル(VLM)のファミリーであるFlamingoを紹介します。 柔軟性のおかげで、Flamingoモデルは大規模なマルチモーダルWebコーパスでトレーニングできる。 一つのFlamingoモデルが、数ショットの学習で新しい最先端の技術を実現できることを実証する。
    論文  参考訳（メタデータ）   (Fri, 29 Apr 2022 16:29:01 GMT)
    • DeepMindの大規模VLM。下記16タスク全てでfew-shotでのSoTA、および6つのタスクでfine tuning以上の結果を主張。
      • NextQA
      • iVQA
      • Flick30K
      • STAR
      • MSVDQA
      • OKVQA
      • HatefulMemes
      • VizWiz
      • VATEX
      • VQAv2
      • COCO
      • VisDial
      • TextVQA
      • MSRVTTQA
      • YouCook2
      • RareAct　※fine tuningの結果が得られていないため論文中では省略とのこと

Designing for Responsible Trust in AI Systems

  • Designing for Responsible Trust in AI Systems: A Communication Perspective [56.8]
    我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
    論文  参考訳（メタデータ）   (Fri, 29 Apr 2022 00:14:33 GMT)
    • AIシステムの信頼性が伝達される過程を「model(M) attribute」「system affordances (A) to communicate trustworthiness (T) cues (C) of the AI」「users’ cognitive processing of these cues by invoking trust-related heuristics (H)」に整理、ユースケース分析を行った報告。これら要素をまとめてMATCHと呼んでいる。
    • テクノロジーそのものよりも「AIが信頼できると伝える過程」に注目しており非常に興味深い。

EasyNLP：AlibabaのNLPツールキット

  • EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing [38.9]
    EasyNLPは、NLPアプリケーションを簡単に構築できるように設計されている。 知識に富んだ事前訓練、知識蒸留、数発の学習が特徴である。 EasyNLPはAlibaba Group内の10以上のビジネスユニットに電力を供給している。
    論文  参考訳（メタデータ）   (Sat, 30 Apr 2022 13:03:53 GMT)

OPT(Open Pre-trained Transformer): オープンな大規模言語モデル

  • OPT: Open Pre-trained Transformer Language Models [99.6]
    125Mから175Bのパラメータからなるデコーダのみの事前学習トランスであるOpen Pre-trained Transformers (OPT)を提案する。 OPT-175BはGPT-3に匹敵するが, 炭素フットプリントの1/7しか必要としない。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 5 May 2022 11:44:30 GMT)
    • GPT-3相当の規模を持つオープンな大規模言語モデル。Data card、Model cardともに論文中にあり、構築過程なども記載がある。

DiffCSE

GRIT(General Robust Image Task): 頑健性を考慮した画像処理ベンチマーク

  • GRIT: General Robust Image Task Benchmark [32.6]
    本稿では,GRIT(General Robust Image Task)ベンチマークを紹介する。 GRITは、様々な画像予測タスク、概念、データソースにわたるビジョンシステムの性能、堅牢性、キャリブレーションを評価する。 ビジョンモデルによって学習されたスキルや概念を徹底的に評価するための統一プラットフォームを提供することにより、GRITが高性能で堅牢な汎用的なビジョンシステムの開発を促進することを期待する。
    論文  参考訳（メタデータ）   (Thu, 28 Apr 2022 17:13:23 GMT)

テキストベースの共同作業とNLP

  • Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.4]
    ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。 既存のNLP研究は個々のテキストの分析に重点を置いている。 編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
    論文  参考訳（メタデータ）   (Fri, 22 Apr 2022 16:39:38 GMT)
    • ピアレビューを対象にtagging、linking、version alignmentを整理、タスク化・データセットを作成との報告。何かのユースケースを自然言語処理でどう取り扱うかを知る上でもとても参考になる。
    • リポジトリはGitHub – UKPLab/f1000rd

医療分野の大規模連合学習

  • Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.6]
    6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
    論文  参考訳（メタデータ）  参考訳（全文）  (Fri, 22 Apr 2022 17:27:00 GMT)
    • 大規模に連合学習を用いて希少な腫瘍の自動検出を行ったという研究。著者リストで4ページと参加者が非常に多い。連合学習のユースケースとして非常に重要な結果。

NLSSum (Neural Label Search for Summarization): 多言語抽出型要約

  • Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.9]
    ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 28 Apr 2022 14:02:16 GMT)
    • MUSEを使用した単語置き換え、機械翻訳などにより英語以外の言語用にデータを拡張、抽出型要約に使うラベルを作りモデル構築を行い、Zero-shotの要約で優れた性能を達成。XLMRSumに比べてMLSUMのROUGE-Lを2pt改善している。

LM-Debugger: 言語モデルのためのデバッガ