月: 2022年6月

META LM: Language Models are General-Purpose Interfaces

  • Language Models are General-Purpose Interfaces [109.5]
    本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
    論文  参考訳（メタデータ）   (Mon, 13 Jun 2022 17:34:22 GMT)
    • マルチモーダル、マルチタスクに対応した言語モデルの提案。言語、画像のタスクで優れた性能を達成とのこと。エンコーダ部分でマルチモーダルに対応、実際タスクを「解く」のはsemi-causal language modelというデコーダのよう。この構造を汎用目的インタフェースといっている。
      • タスクに関する記述や出力は自然言語として書け、マルチモーダルな構造とも接続できるのであれば汎用インタフェースと言える気はする。そして、semi-causal language modelingというのは刺激的なワード。
    • リポジトリはGitHub – microsoft/unilm: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities

GAN I hire you?

  • “GAN I hire you?” — A System for Personalized Virtual Job Interview Training [49.2]
    本研究では,GAN(Generative Adversarial Network)に基づく対話型面接訓練システムを開発した。 その結果,GANをベースとした行動フィードバックが有用であることが示唆された。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 8 Jun 2022 13:03:39 GMT)
    • GANを用いた対話型面接トレーニングシステム、フィードバックを生成してくれるとのこと。
    • 取り組みは面白いが、評価方法とかこれで大丈夫なのだろうか。

アノテーションエラー検出手法の検証

  • Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [64.0]
    我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
    論文  参考訳（メタデータ）   (Sun, 5 Jun 2022 22:31:45 GMT)

DEMSD（Deep Encoder with Multiple Shallow Decoders ）を使った多言語機械翻訳

  • Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders [77.2]
    本稿では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。
    論文  参考訳（メタデータ）   (Sun, 5 Jun 2022 01:15:04 GMT)
    • 機械翻訳では深いエンコーダと浅いデコーダの組み合わせが有効である。この論文では多対１の機械翻訳での有効性の検証、多対多機械翻訳の場合の対応を報告している。多対多機械翻訳ではデコーダ部分を複数の浅い構造とすることで翻訳性能と速度で良好な結果が出せたとのこと。

多言語のdetoxification

  • Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models [78.1]
    デトキシフィケーション(detoxification)とは、本来の有毒なテキストの意味と流布を保ちつつ、丁寧なスタイルでテキストを生成するタスクである。 本研究は多言語間の解毒と,このような大規模多言語モデルの挙動について検討する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Sun, 5 Jun 2022 20:02:30 GMT)
    • 多言語でのdetoxificationに関する報告。
    • 英語でdetoxificationを学習した多言語モデルがロシア語のdetoxificationに有効か興味があったが難しそうという実験結果。「We suggest that the reason for this is not a lack of data, but the model’s inability to capture the pattern between toxic and non-toxic text and transfer it to another language by itself.」とのこと。
    • 翻訳を通す手法はまぁまぁワークするよう。ある程度想像はできるとはいえ、Backtranslation Setupの詳細が知りたい……

DiVeRSe: Diverse Verifier on Reasoning Step

  • On the Advance of Making Language Models Better Reasoners [49.2]
    GPT-3 や PaLM のような大規模言語モデルは、数発の学習で顕著な性能を示した。 最近の進歩は、最終回答を生成する前に、言語モデルを意図的に導き、推論ステップの連鎖を生成する。 推論能力をさらに向上するための新しいアプローチであるDiVeRSeを提案する。
    論文  参考訳（メタデータ）   (Mon, 6 Jun 2022 03:38:36 GMT)
    • 多段階推論パスを用いてGSM8Kのようなタスクでの性能が改善するが、それをさらに推し進めた研究。多段階推論に加えて「言語モデルからより多様な推論経路を誘導する多様なプロンプトを活用」「複数の推論経路から最終的な答えを引き出す投票検証モデルの利用」「ステップ毎の正しさを利用した投票検証モデルの強化」を行っているとのこと。

医療画像分野のTransformer利用サーベイ

  • Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives [18.0]
    ディープラーニングの最新技術進歩であるTransformerは、自然言語処理やコンピュータビジョンで普及している。 我々は、医療画像に対する最先端のTransformerベースのアプローチを包括的にレビューする。
    論文  参考訳（メタデータ）   (Thu, 2 Jun 2022 16:38:31 GMT)
    • 医療分野の画像処理でTransformerがどのように使われているかのサーベイ。
    • 医療分野とあるが一般的な画像処理でも重要な考え方が多く参考になる。当然ながらMedical image reconstructionなどドメイン依存のタスクも興味深い。

Beyond the Imitation Game benchmark (BIG-bench)

  • Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [645.0]
    言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で442人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
    論文  参考訳（メタデータ）   (Thu, 9 Jun 2022 17:05:34 GMT)
    • 204タスクからなる大規模ベンチマークと大規模言語モデルを用いた評価の報告。
      • 著者が極めて多く、スコア=645はfugumt.com内で最高。
    • 大規模言語モデルを用いたAIでも総合的には人間は及ばない、開発者（OpenAI or Google）が異なっていてもAIは似た挙動を示すなど非常に興味深い。
      • 最近の「パラメータ数の増加（大規模化）によりAIの性能は人間に並べる」という雰囲気との整合性は謎で、5ページのPaLMの結果によって解釈が変わるレベルの影響がありそう。PaLMが無ければ総合的に人間のレベルに到達する道のりは長そうだが、PaLMの結果があると行けそうに思える。
      • 「During the writing of this work, results for the Pathways Language Model (PaLM) on BIG-bench were published (Chowdhery et al., 2022) and we included them in Figure 1. Most of the analysis in the paper is focused on results from models we evaluated BIG-bench on.」とのことで、この分野は進展が速すぎるという印象

論文探索システム

  • Augmenting Scientific Creativity with Retrieval across Knowledge Domains [31.7]
    論文要約から,エンドユーザが関心のあるテキストコアの一部を選択できる探索検索システムを開発した。 研究者らによるケーススタディは、クロスドメイン探索とインスピレーションを促進することを目的としたシステムにおける機会と設計の意味を明らかにする。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 2 Jun 2022 22:55:51 GMT)

スポーツの映像行動認識のサーベイ

  • A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications [60.3]
    本稿では,スポーツ分析のための映像行動認識に関する調査を行う。 サッカー、バスケットボール、バレーボール、ホッケー、フィギュアスケート、体操、卓球、ダイビング、バドミントンなど10種以上のスポーツを紹介します。 本研究では,サッカー,バスケットボール,卓球,フィギュアスケート動作認識をサポートするPaddlePaddleを用いたツールボックスを開発した。
    論文  参考訳（メタデータ）   (Thu, 2 Jun 2022 13:19:36 GMT)
    • スポーツへのAI応用の面からも興味深いサーベイ。