2022年3月21日 – arXiv最新論文の紹介

Lexiconを用いた事前学習モデルの拡張

Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation [133.7]
我々の研究は、NLPメソッドが現在の技術で不足している何千もの言語にどのように適応できるかを強調した。 3つのタスクにまたがる19の非表現言語に対して、我々の手法は、それぞれ追加のモノリンガルテキストによる最大5点と15点の改善をもたらす。
論文参考訳（メタデータ）参考訳（全文） (Thu, 17 Mar 2022 16:48:22 GMT)
- リソースの少ない言語への自然言語処理適用に関する報告。世界に存在する約7000言語のうちmBERTは1%程度、Wikipedia/Common Crawlは4%程度しかカバーできていない（聖書でも23%）。この論文では70%をカバー可能なバイリンガル辞書や語彙集を用いて低リソースな言語の自然言語処理を行えるとのこと。
- リポジトリはGitHub – cindyxinyiwang/expand-via-lexicon-based-adaptation: Code for ACL 2022 paper “Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation”

Question Generationを扱った論文が2日続けて出ていた。

Ask to Understand: Question Generation for Multi-hop Question Answering [11.6]
マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
論文参考訳（メタデータ） (Thu, 17 Mar 2022 04:02:29 GMT)
- マルチホップなQAを作るための手法の提案。sub questionを介するパイプラインになっているようだが、Multi-hop Question Answering自体が挑戦的なタスクなのでうまくいくならすごいと思う。

A Feasibility Study of Answer-Unaware Question Generation for Education [14.4]
このようなシステムにおけるエラーのかなりの部分は、無関係または解釈不能な質問から生じていることを示す。これらのモデルが原文ではなく人文要約となると、生成した質問の受理性が著しく向上することがわかった。
論文参考訳（メタデータ）参考訳（全文） (Wed, 16 Mar 2022 15:16:18 GMT)
- 質問生成において不適切または解釈不能な質問を避けるため要約を活用するとの報告。
- リポジトリはGitHub – liamdugan/summary-qg: Code for the ACL 2022 Paper “A Feasibility Study of Answer-Unaware Question Generation for Education”

ELLE: Efficient Lifelong Pre-training for Emerging Data [91.5]
現在の訓練済み言語モデル(PLM)は、静的なデータでトレーニングされるが、現実のシナリオでは、様々なソースのストリーミングデータが継続的に成長する可能性がある。新興データに対する効率的な生涯事前学習を目的としたELLEを提案する。 ELLEは,(1)既存のPLMの幅と深さを柔軟に拡張して知識獲得の効率を向上する機能保持モデル展開と,(2)事前学習時に学習した多目的知識を混乱させ,下流タスクの適切な知識を刺激する事前学習ドメインプロンプトから構成される。
論文参考訳（メタデータ） (Sat, 12 Mar 2022 01:53:53 GMT)
- 特に言語モデルで問題となる新たなデータに対する継続的な学習（ここではLifelong learning）に関する論文。計算コスト等を下げる効率的な枠組みを提案。既存の言語モデルの幅や深さ（パラメータ数）を拡大する際に効率化が可能とのこと。
  - 新たなデータを獲得するたびにモデルサイズも拡張していく設定がリアル。。。
- リポジトリはGitHub – thunlp/ELLE