カテゴリー: arXiv

AutoMLとIoT

DRAMA(Driving Risk Assessment Mechanism with A Casting Module) Dataset

  • DRAMA: Joint Risk Localization and Captioning in Driving [23.1]
    本稿では,運転場面における共同リスクローカライゼーションの新たな研究方向と,その自然言語記述としてのリスク説明を提案する。 標準ベンチマークの欠如により、我々は大規模データセットDRAMA (Driving Risk Assessment Mechanism with A Casting Module) を収集した。 我々のデータセットは、視覚的キャプションの目標を達成するために、関連する重要なオブジェクトによるリスクの駆動に関するビデオおよびオブジェクトレベルの質問に適合する。
    論文  参考訳（メタデータ）   (Thu, 22 Sep 2022 03:53:56 GMT)
    • 運転中のビデオとその説明、QAを含むデータセット。17,785シナリオと規模も大きい。「We make this data available to the community for further research.」とあるものの、データ利用にはプロジェクトサイトからメールで問い合わせが必要そう。
    • プロジェクトサイトはDRAMA – Honda Research Institute USA (honda-ri.com)

A Generalist Neural Algorithmic Learner

  • A Generalist Neural Algorithmic Learner [18.4]
    我々は、幅広いアルゴリズムを実行することを学習できる単一のグラフニューラルネットワークプロセッサを構築している。 マルチタスク方式でアルゴリズムを効果的に学習できることを示す。
    論文  参考訳（メタデータ）   (Thu, 22 Sep 2022 16:41:33 GMT)
    • 古典的なアルゴリズム（ sorting, searching, dynamic programming, path-finding, geometry）を学習可能なgeneralist model（Triplet-GMPNN）を提案、CLRSベンチマーク（下記）の結果を改善している。
  • The CLRS Algorithmic Reasoning Benchmark [28.8]
    アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
    論文  参考訳（メタデータ）   (Tue, 31 May 2022 09:56:44 GMT)
  • deepmind/clrs (github.com)

TempoWiC

  • TempoWiC: An Evaluation Benchmark for Detecting Meaning Shift in Social Media [17.8]
    我々は、ソーシャルメディアベースの意味変化の研究を加速するための新しいベンチマークであるTempoWiCを紹介する。 この結果から,ソーシャルメディアに特化した最近リリースされた言語モデルであっても,TempoWiCは難しいベンチマークであることがわかった。
    論文  参考訳（メタデータ）   (Fri, 16 Sep 2022 16:54:46 GMT)
    • SNSにおける意味の変化も考慮したベンチマークの提案。super GLUEに取り入れられているWiC同様、単語の意味が同じかに注目したものになっている。
    • リポジトリはcardiffnlp/TempoWiC (github.com)

Prompting for a conversation: How to control a dialog model? 

  • Prompting for a conversation: How to control a dialog model? [9.3]
    ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。 前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。 本稿では,上記のトレードオフを緩和できるかどうかを検討する。
    論文  参考訳（メタデータ）   (Thu, 22 Sep 2022 14:59:55 GMT)
    • 会話モデルに対するfine tuningの副作用とその緩和の話題。ケンブリッジ大学とAppleの共著で著者へのリファレンスがかわいい。
    • リファレンスはおいておいて、dyamic-promptingという名称でテキストの多様性を生み出す能力を壊さずに特定タスクへの適応をあげている。

SQA(Science Question Answering)、SCIENCEQAベンチマーク

  • Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.2]
    本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
    論文  参考訳（メタデータ）   (Tue, 20 Sep 2022 07:04:24 GMT)
    • 21kからなるマルチモーダル、マルチホップを含むQAデータセット。注釈等も付与されている。GPT-3 ＆ chain-of-thought (CoT)で正解率75.17%とのこと。
      • 既に低くないのでは？と思わなくもない。
    • プロジェクトサイトはScienceQA

FairGBM

テキスト＋表形式データに対する推論

GENREAD: 検索の代わりの大規模言語モデル

  • Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.9]
    本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
    論文  参考訳（メタデータ）   (Wed, 21 Sep 2022 01:30:59 GMT)
    • open-domain QAで良く用いられる検索モジュールを大規模言語モデルによる生成器に置き換えることで優れた性能を達成との報告。 TriviaQA と WebQ でSoTAを主張。
    • 大規模言語モデルからうまく情報を引き出す事と大規模な知識データベースを検索する事が近しく、しかも前者の性能が良いことを示しているような気がしていて、Transformer等による情報の圧縮はかなり効果的なんだろうなという直感。

NL2INTERFACE

  • NL2INTERFACE: Interactive Visualization Interface Generation from Natural Language Queries [19.4]
    NL2INTERFACEは自然言語クエリから対話型多視点インタフェースを生成する。 ユーザはインターフェイスと対話して、データを簡単に変換し、視覚化の結果を素早く見ることができる。
    論文  参考訳（メタデータ）   (Mon, 19 Sep 2022 08:31:50 GMT)
    • 自然言語でインタラクティブに操作可能な環境。内部的にはテキストをstructurally parameterized SQL(SPS) に変換しているとのこと。

（内部動作は異なると思うが）ACT-1: Transformer for Actions (adept.ai)のようにやりたい事を言葉で指示する方針は有望なのだろうか？