タグ: Summarization

Summary Workbench

  • Summary Workbench: Unifying Application and Evaluation of Text Summarization Models [24.4]
    テキスト要約モデルの開発と評価ツールであるサマリワークベンチを提案する。新しいモデルと評価基準は、Dockerベースのプラグインとして簡単に統合できる。 複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。
    論文  参考訳（メタデータ）   (Tue, 18 Oct 2022 04:47:25 GMT)
    • 様々な要約手法を試せるサイト。原文との対応や複数手法での比較など評価部分も凝っている。
    • プロジェクトサイトはSummary Workbench (webis.de)

WikiDes: Wikipediaベースの概要データセット

  • WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions from Paragraphs [66.9]
    ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。 データセットは、6987のトピックに関する80K以上の英語サンプルで構成されている。 本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
    論文  参考訳（メタデータ）   (Tue, 27 Sep 2022 01:28:02 GMT)
    • Wikipediaの最初の段落とWikidataの説明を関連付けしたデータセット。平均的なドキュメントサイズが小さめで段落をさらに短く説明するようなデータになっている。

GPT-3時代の要約

  • News Summarization and Evaluation in the Era of GPT-3 [73.5]
    我々は,0ショットGPT-3が,大規模な要約データセット上で訓練された微調整モデルと比較した。 我々は,人間はGPT-3要約を圧倒的に好んでいるだけでなく,現実性に乏しいようなデータセット固有の問題に悩まされていることも示している。
    論文  参考訳（メタデータ）   (Mon, 26 Sep 2022 01:04:52 GMT)
    • 機械要約において（機械的評価とは乖離して）人間はGPT-3による要約を好むという報告。通常の要約だけでなくCTRLSumが行うようなキーワードベースの手法でもGPT-3の方が好まれるとのこと。
      • 特化系のモデルが（Promptがあるとはいえ）汎用のモデルに勝てない時代…
    • リポジトリはtagoyal/factuality-datasets (github.com)

要約を対象としたContrastive Learningによるre-ranking

コールセンターの会話における要約手法の比較

  • Comparing Methods for Extractive Summarization of Call Centre Dialogue [77.3]
    ラベル付きデータを必要とせず,比較的迅速かつ容易に本番環境に実装できる抽出型要約手法に注目した。そこで本稿では,これらの手法を用いて要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
    論文  参考訳（メタデータ）   (Tue, 6 Sep 2022 13:16:02 GMT)
    • 複数の抽出型要約手法の比較。LEAD-7が良いという衝撃の結果だが、基本となる統計値が無いので何とも言えない。。。
      • （この論文のfugumt.com的スコアが高いのはとても謎（summarization系だからかな））

抽出型要約も忠実ではない

  • Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.9]
    本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
    論文  参考訳（メタデータ）   (Thu, 8 Sep 2022 03:25:18 GMT)
    • 一般的に抽象型要約よりも抽出型要約の要約の方が意味的な忠実度が高いと思われているが、人間による大規模検証によるとそうでもないという結果。
    • 既存の各種評価指標との対応を見ると要約の自動評価簡単ではないなーという印象。
    • ZhangShiyue/extractive_is_not_faithful (github.com)

TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency

  • TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency [133.8]
  • 我々は,ビデオ要約の未探索領域である指導ビデオの要約に焦点をあてる。 既存のビデオ要約データセットは、手動のフレームレベルのアノテーションに依存している。 本稿では,文脈対応の時間的ビデオエンコーダとセグメントスコアリング変換器を組み合わせた指導ビデオ要約ネットワークを提案する。
  • 論文  参考訳（メタデータ）   (Sun, 14 Aug 2022 04:07:40 GMT)

会議要約のサーベイ

  • Abstractive Meeting Summarization: A Survey [15.5]
    本稿では,多人数会議における抽象的な要約に焦点を当てた。 このタスクに関連する課題、データセット、システムに関する調査と、今後の研究に向けた有望な方向性に関する議論を提供する。
    論文  参考訳（メタデータ）   (Mon, 8 Aug 2022 14:04:38 GMT)

AlexaTM 20B

  • AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model [25.9]
    マルチリンガルな大規模シーケンス・ツー・シーケンス(seq2seq)モデルは、様々なタスクにおけるデコーダのみのモデルよりも、より効率的であることを示す。 我々は、Alexa Teacher Model (AlexaTM 20B)と呼ばれる200億のパラメータのSeq2seqモデルをトレーニングし、1ショットの要約タスクで最先端(SOTA)のパフォーマンスを達成することを示す。
    論文  参考訳（メタデータ）   (Tue, 2 Aug 2022 13:30:07 GMT)

長文要約のサーベイ

  • An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics [33.7]
    本稿では,長い文書要約研究の概要について概説する。 我々は、現在の研究の進展に対する視点を広げるために、実証分析を行う。
    論文  参考訳（メタデータ）   (Sun, 3 Jul 2022 02:57:22 GMT)