事前学習モデルを活用した文書生成のサーベイ

  • A Survey of Pretrained Language Models Based Text Generation [97.6]
    テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。 ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。 PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
    論文  参考訳(メタデータ)   (Fri, 14 Jan 2022 01:44:58 GMT)

Grow-and-Clip: Explainable Question Answeringモデル

  • Grow-and-Clip: Informative-yet-Concise Evidence Distillation for Answer Explanation [22.2]
    我々は、QAモデルの解釈可能性を高めるために、解答の証拠が重要であると論じる。 我々は、証拠の概念を、情報的で簡潔で読みやすい文脈における支援事実として明確に定義する最初の人物である。 本稿では, トレードオフ情報性, 簡潔性, 可読性からエビデンスを抽出するGCEDアルゴリズムを提案する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 13 Jan 2022 17:18:17 GMT)
    • 下記5つのモジュールを用いたGrow-and-Clip Evidence Distillationアルゴリズムによる証拠の提案、人による検証結果も良好とのこと。構文解析を含むがっつりとしたパイプライン構成でE2Eでできるのはまだ先なのかなという感想。
      • Answer-oriented Sentences Extractor:  回答を得るための最小の文セットを選択
      • Question-relevant Words Selector: 上記分から質問と強く関連する単語を抽出
      • Weighted Syntactic Parsing Tree Constructor: 上記文の構文ツリーを作成
      • Evidence Forest Constructor: 質問に関連する単語、ツリー構造を用いてエビデンスとなりうる複数のツリーと回答となるツリーを構成
      • Optimal Evidence Distiller: エビデンスツリーの選択