- How Far are We from Robust Long Abstractive Summarization? [39.3]
我々は、信頼できる要約を生成するために、長い文書抽象要約システム(モデルとメトリクス)を実装して評価する。 長期の文書評価指標について,人間の評価結果から,ROUGEは要約の関連性を評価する上で最善であることが明らかとなった。 我々は、より広い範囲の要約設定でメトリクスの開発に貢献できることを願って、注釈付き長いドキュメントデータセットをリリースします。
論文 参考訳（メタデータ） (Sun, 30 Oct 2022 03:19:50 GMT) - 一般的に難しい長文要約の評価に関する論文。色々指摘を受けているROUGEが悪くない結果を出していて少し驚き。fine tuningの重要性からもドメイン合わせないと辛い自然言語処理の特徴が見えている気もする。
- リポジトリはhuankoh/How-Far-are-We-from-Robust-Long-Abstractive-Summarization (github.com)