Lexiconを用いた事前学習モデルの拡張

Multi-hopや回答可能性を考慮したQuestion Generation

Question Generationを扱った論文が2日続けて出ていた。

  • Ask to Understand: Question Generation for Multi-hop Question Answering [11.6]
    マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。 質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
    論文  参考訳(メタデータ)   (Thu, 17 Mar 2022 04:02:29 GMT)
    • マルチホップなQAを作るための手法の提案。sub questionを介するパイプラインになっているようだが、Multi-hop Question Answering自体が挑戦的なタスクなのでうまくいくならすごいと思う。

ELLE(Efficient Lifelong Pre-training for Emerging Data): 新たなデータの発生を考慮したPLM

  • ELLE: Efficient Lifelong Pre-training for Emerging Data [91.5]
    現在の訓練済み言語モデル(PLM)は、静的なデータでトレーニングされるが、現実のシナリオでは、様々なソースのストリーミングデータが継続的に成長する可能性がある。 新興データに対する効率的な生涯事前学習を目的としたELLEを提案する。 ELLEは,(1)既存のPLMの幅と深さを柔軟に拡張して知識獲得の効率を向上する機能保持モデル展開と,(2)事前学習時に学習した多目的知識を混乱させ,下流タスクの適切な知識を刺激する事前学習ドメインプロンプトから構成される。
    論文  参考訳(メタデータ)   (Sat, 12 Mar 2022 01:53:53 GMT)
    • 特に言語モデルで問題となる新たなデータに対する継続的な学習(ここではLifelong learning)に関する論文。計算コスト等を下げる効率的な枠組みを提案。既存の言語モデルの幅や深さ(パラメータ数)を拡大する際に効率化が可能とのこと。
      • 新たなデータを獲得するたびにモデルサイズも拡張していく設定がリアル。。。