Summary Workbench: Unifying Application and Evaluation of Text Summarization Models [24.4] テキスト要約モデルの開発と評価ツールであるサマリワークベンチを提案する。新しいモデルと評価基準は、Dockerベースのプラグインとして簡単に統合できる。 複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。 論文参考訳(メタデータ) (Tue, 18 Oct 2022 04:47:25 GMT)
News Summarization and Evaluation in the Era of GPT-3 [73.5] 我々は,0ショットGPT-3が,大規模な要約データセット上で訓練された微調整モデルと比較した。 我々は,人間はGPT-3要約を圧倒的に好んでいるだけでなく,現実性に乏しいようなデータセット固有の問題に悩まされていることも示している。 論文参考訳(メタデータ) (Mon, 26 Sep 2022 01:04:52 GMT)
Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.9] 本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。 論文参考訳(メタデータ) (Thu, 8 Sep 2022 03:25:18 GMT)
AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model [25.9] マルチリンガルな大規模シーケンス・ツー・シーケンス(seq2seq)モデルは、様々なタスクにおけるデコーダのみのモデルよりも、より効率的であることを示す。 我々は、Alexa Teacher Model (AlexaTM 20B)と呼ばれる200億のパラメータのSeq2seqモデルをトレーニングし、1ショットの要約タスクで最先端(SOTA)のパフォーマンスを達成することを示す。 論文参考訳(メタデータ) (Tue, 2 Aug 2022 13:30:07 GMT)