タグ: Multi-Document

Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles 

  • Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles [81.9]
    SciTrekは、科学論文を用いた大規模言語モデル(LLM)の長文推論能力を評価するために設計された、新しい質問応答ベンチマークである。 本分析により,モデルの基本的数値演算を行ない,特定の情報を長い文脈で正確に特定する能力において,系統的な欠点が明らかとなった。
    論文  参考訳（メタデータ）   (Thu, 25 Sep 2025 11:36:09 GMT)
  • 「This paper introduced SciTrek, a benchmark designed for testing the ability of LLMs to perform multi-document information synthesis and structured reasoning over full-text scientific articles. 」と科学分野のマルチドキュメント・長文ベンチマーク。
  • リポジトリはGitHub – oaimli/SciTrek: Benchmarking long-context language models on scientific articles

MDDS(Multi-document Diversity Summarization) & DIVERSESUMM

  • Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [142.7]
    同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
    論文  参考訳（メタデータ）   (Sun, 17 Sep 2023 20:28:17 GMT)
  • Multi-document Summarizationを対象としたタスクとデータセットの構築。MDDS (Multi-document Diversity Summarization)という複数の情報源の利用を前提としたタスクを提案している。現実的ではあるがGPT-4であっても十分な性能とは言い難い難しいタスクとのこと。
  • 現時点でデータセットは公開されていない？
  • Summarization is (Almost) Dead [49.4]
    我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
    論文  参考訳（メタデータ）   (Mon, 18 Sep 2023 08:13:01 GMT)

という論文も出ていたが、要約関連のタスクバリエーションはいろいろ考えられそう。（要約というかレポーティングに近くなっていきそうな気もしつつ）

BigSurvey: 学術論文の大規模データセット

  • Generating a Structured Summary of Numerous Academic Papers: Dataset and Method [20.9]
    本稿では,各トピックに関する多数の学術論文の包括的な要約を生成するための,最初の大規模データセットであるBigSurveyを提案する。 我々は,7千件以上の調査論文から対象要約を収集し,その43万件の参考論文の要約を入力文書として活用する。 数十の入力文書から多種多様な内容を整理するために,カテゴリベースアライメント・スパース・トランスフォーマー (CAST) と呼ばれる要約手法を提案する。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 11:42:07 GMT)
  • 7,000サーベイと430,000の参照論文からなるデータセット。Multi Documentな要約の貴重なデータで長文であることからも難しい対象だと思う。ベースライン実装ではBigBIRD-PEGASUやLEDを上回っている。
  • リポジトリはGitHub – StevenLau6/BigSurvey: A large-scale dataset for numerous academic papers summarization、ライセンスはOpen Data Commons Attribution License (ODC-By) v1.0 — Open Data Commons: legal tools for open data

A Survey on Medical Document Summarization

  • A Survey on Medical Document Summarization [40.8]
    インターネットは医療業界に劇的な影響を与えており、文書をデジタルで保存、共有、管理することができる。 これにより、重要なデータを見つけ、共有しやすくなり、患者のケアを改善し、医学研究の機会を増やした。
    論文  参考訳（メタデータ）   (Sat, 3 Dec 2022 18:46:44 GMT)
  • 医療ドメインのマルチドキュメント要約に関するサーベイ
  • NLP全般の傾向かもしれないが、最近の盛り上がりを感じる内容

文書を並び替えてのMulti-Document News Summarization

  • Read Top News First: A Document Reordering Approach for Multi-Document News Summarization [27.3]
    本稿では,文書を連結・要約する前に,文書の相対的重要性に応じて並べ替える簡単な手法を提案する。 並べ替えにより、要約モデルで学習しやすくなる。
    論文  参考訳（メタデータ）   (Sat, 19 Mar 2022 06:01:11 GMT)
    • 複数の文書を要約するタスクにおいて、要約モデル適用前に適切な順番に並び替えることで性能が向上するとの報告。

「Related Work」の自動生成に関するサーベイ

  • Automatic Related Work Generation: A Meta Study [5.0]
    自然言語処理では、通常「関連作業」という節で文献レビューが行われる。 自動作業生成の課題は, 「関連作業」 セクションを自動生成することである。 本稿では,問題定式化,データセット収集,方法論的アプローチ,性能評価,今後の展望の観点から,関連作業生成に関する既存の文献をメタスタディで比較する。
    論文  参考訳（メタデータ）   (Thu, 6 Jan 2022 01:16:38 GMT)
    • 論文にだいたいある「Related works」を自動生成することを目的とした研究のサーベイ。有用そう＆今であれば出来そうな気もしつつ難しそうな気もするタスクであるが、サーベイからは発展途上との印象をうける。

Multi-document Summarization: サブグラフ選択として解くSgSum、Longformerを用いるPRIMER

  • SgSum: Transforming Multi-document Summarization into Sub-graph Selection [27.4]
    既存の抽出多文書要約(MDS)手法は、各文を個別にスコアし、一つずつ有能な文を抽出して要約を構成する。 サブグラフ選択問題としてMDSタスクを定式化する新しいMDSフレームワーク(SgSum)を提案する。 我々のモデルは従来のMDS法と比較して、より一貫性があり、情報的な要約を生成できる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 25 Oct 2021 05:12:10 GMT)
    • グラフ構造を通してMulti-documentな要約を行う手法の提案。MultiNewsやDUC2004で優れた結果。
  • PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization [16.8]
    要約に着目した多文書表現のための事前学習モデルであるPRIMERを提案する。 具体的には,マルチドキュメント入力に適した適切な入力変換とグローバルアテンションを備えたLongformerアーキテクチャを採用する。 私たちのモデルであるPRIMERは、これらのほとんどの設定において、現在の最先端モデルを大きなマージンで上回る。
    論文  参考訳（メタデータ）  参考訳（全文）  (Sat, 16 Oct 2021 07:22:24 GMT)
    • こちらはグラフ構造ではなくLongformerを用いてマルチドキュメントに対処するアプローチ、MultiNewsなどでSoTA。
    • リポジトリはhttps://github.com/allenai/PRIMER

HowSumm: クエリ指向マルチドキュメント要約データセット

  • HowSumm: A Multi-Document Summarization Dataset Derived from WikiHow Articles [1.1]
    HowSummは、クエリ中心のマルチドキュメント要約(qMDS)タスクのための新しい大規模データセットである。 このユースケースは、既存のマルチドキュメント要約(MDS)データセットでカバーされているユースケースとは異なる。 我々は,HowSumm を利用して要約研究を進めることを提案する。
    論文  参考訳（メタデータ）   (Thu, 7 Oct 2021 04:44:32 GMT)
    • wikiHowから作られたquery-focused multi-document summarization (qMDS)用のデータセット。wikiHowの記事中、（短い）ステップからのサマリーが84K (HowSumm-Step)、（長い）メソッドからのサマリーが11K (HowSumm-Method)と2種類データがある。データ量も大きく、この手のデータセットは非常に貴重。
      • ライセンスはCC BY-NC-SA 3.0で商用利用は禁止されている。
    • リポジトリはhttps://github.com/odelliab/HowSumm

MK-DUC-01: マルチドキュメントでのキーフレーズ抽出

  • Multi-Document Keyphrase Extraction: A Literature Review and the First Dataset [24.9]
    文書の集合を記述するのに有用であるにもかかわらず、多文書キーフレーズ抽出は頻繁に研究されている。 ここでは、最初の文献レビューとタスクのための最初のデータセットであるMK-DUC-01を紹介し、新しいベンチマークとして機能する。
    論文  参考訳（メタデータ）   (Sun, 3 Oct 2021 19:10:28 GMT)
    • 文書からのキーフレーズ抽出は重要なタスクで、複数文書をまとめて評価したい場合も多い。本論文ではDUC-2001をベースにマルチドキュメントなキーフレーズ抽出用データセットを作成、現時点の手法をConcat（連結したドキュメントでフレーズ抽出）とMerge（各ドキュメントでフレーズ抽出した結果をマージして再処理）で比較している。