- News Summarization and Evaluation in the Era of GPT-3 [73.5]
我々は,0ショットGPT-3が,大規模な要約データセット上で訓練された微調整モデルと比較した。 我々は,人間はGPT-3要約を圧倒的に好んでいるだけでなく,現実性に乏しいようなデータセット固有の問題に悩まされていることも示している。
論文 参考訳（メタデータ） (Mon, 26 Sep 2022 01:04:52 GMT)- 機械要約において（機械的評価とは乖離して）人間はGPT-3による要約を好むという報告。通常の要約だけでなくCTRLSumが行うようなキーワードベースの手法でもGPT-3の方が好まれるとのこと。
- 特化系のモデルが（Promptがあるとはいえ）汎用のモデルに勝てない時代…
- リポジトリはtagoyal/factuality-datasets (github.com)
- 機械要約において（機械的評価とは乖離して）人間はGPT-3による要約を好むという報告。通常の要約だけでなくCTRLSumが行うようなキーワードベースの手法でもGPT-3の方が好まれるとのこと。