タグ: Question Answering

RealTime QA

  • RealTime QA: What’s the Answer Right Now? [113.0]
    本稿では,動的質問応答(QA)プラットフォームであるRealTime QAを紹介する。 GPT-3は、新しく検索された文書に基づいて、しばしばその生成結果を適切に更新することができる。 検索した文書が回答を見つけるのに十分な情報を提供していない場合、GPT-3は時代遅れの回答を返す傾向にある。
    論文  参考訳（メタデータ）   (Wed, 27 Jul 2022 07:26:01 GMT)
    • QAを現実世界、実時間で評価していく取り組み。Question Answeringモデルの実運用が現実的なのか知る上でも非常に興味深い。
    • プロジェクトサイトはHome | RealTime QA

OmniTab: 合成データを併用したTable QA

財務質問回答(FinQA)に対するモデルアンサンブル

  • A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA [53.6]
    本稿では,財務テキストと表データソース間の数値推論質問に答える数値推論質問応答システムを提案する。 検索モジュールにおいて、生成モジュールの入力に無関係で類似のセルを同じ行に持ってくるのを避けるため、金のセルを検索するセルレトリバーを革新的に設計する。 アンサンブルモジュールでは,システム出力として最適なプログラムを選択するために複数のプログラムを統合する。
    論文  参考訳（メタデータ）   (Fri, 17 Jun 2022 01:55:29 GMT)
    • FinQAに対して複数のモジュール（アンサンブル）を適用、スコア: 69.79 を達成したとの報告。
      • FinQANet（RoBERTa Large）を大幅に上回るスコアだがやはり難しいタスクとの感想。

StreamingQA:

  • StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models [31.4]
    提案する大規模データセットであるStreamingQAを構築した。 プレトレーニングでは見られない新しい記事を読むことで、四半期毎にモデルを評価します。 我々は,大惨な忘れを回避しつつ,パラメトリックモデルをフルリトレーニングなしで更新可能であることを示す。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 23 May 2022 15:33:41 GMT)
    • 14年分のニュース記事に関する大規模QAデータセット、QAモデルの時系列変化による影響を考慮することが可能。
    • リポジトリはGitHub – deepmind/streamingqa

PeaQA: Parameter, Efficient, Abstractive Question Answering

  • Parameter-Efficient Abstractive Question Answering over Tables or Text [60.9]
    QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 7 Apr 2022 10:56:29 GMT)
    • 構造化表データと非構造化テキストデータの両方を扱え、パラメータ効率の高いアーキテクチャの提案。 tabular QA ではSoTA、textual QA でも競争力のあるパフォーマンスを達成とのこと。

FairytaleQA : 物語理解のためのQAデータセット

  • Fantastic Questions and Where to Find Them: FairytaleQA — An Authentic Dataset for Narrative Comprehension [136.8]
    幼稚園児の物語理解に焦点を当てたデータセットであるFairytaleQAを8年生に紹介する。 FairytaleQAは10,580の明示的で暗黙的な質問で構成されており、278の子供フレンドリーな物語から導かれる。
    論文  参考訳（メタデータ）   (Sat, 26 Mar 2022 00:20:05 GMT)
    • 物語ドメインのQAデータセット。規模はそれなりという感じだが、セクション限定を行わない場合、長めのテキストを扱う必要がありそう。

lfqa_discourse

Multi-hopや回答可能性を考慮したQuestion Generation

Question Generationを扱った論文が2日続けて出ていた。

  • Ask to Understand: Question Generation for Multi-hop Question Answering [11.6]
    マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。 質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
    論文  参考訳（メタデータ）   (Thu, 17 Mar 2022 04:02:29 GMT)
    • マルチホップなQAを作るための手法の提案。sub questionを介するパイプラインになっているようだが、Multi-hop Question Answering自体が挑戦的なタスクなのでうまくいくならすごいと思う。

DUAL(Discrete Unit Adaptive Learning): TextlessなSQA(Spoken Question Answering)

  • DUAL: Textless Spoken Question Answering with Speech Discrete Unit Adaptive Learning [66.7]
    SQA (Spoken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。 既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。 本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
    論文  参考訳（メタデータ）   (Wed, 9 Mar 2022 17:46:22 GMT)
    • Textlessな(音声認識を使わない)SQAフレームワークの提案。データセットとしてNatural Multi-Speaker Spoken Question Answering (NMSQA)も合わせて公開している。
    • ASRを併用するアプローチと競合的な結果で（当たり前ではあるが）ASR品質によっては提案手法が優れていることがあるとのこと。
    • リポジトリはGitHub – DanielLin94144/DUAL-textless-SQA: The official implementation of DUAL textless SQA

Video Question Answeringのサーベイ

  • Video Question Answering: Datasets, Algorithms and Challenges [99.9]
    Video Question Answering (VideoQA) は、与えられたビデオに応じて自然言語の質問に答えることを目的としている。 本稿では、データセット、アルゴリズム、ユニークな課題に焦点を当てた、ビデオQAの明確な分類と包括的分析を提供する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 2 Mar 2022 16:34:09 GMT)
    • Video Question Answeringのサーベイ。かなり新しい分野だと思っていただが、2016年にデータセットが出されていたことに驚いた。