日: 2023年12月1日

A Reevaluation of Event Extraction: Past, Present, and Future Challenges

  • A Reevaluation of Event Extraction: Past, Present, and Future Challenges [136.7]
    イベント抽出は近年、多くの応用の可能性から多くの注目を集めている。 最近の研究では、いくつかの評価課題が観察されており、報告されたスコアは真のパフォーマンスを反映していない可能性があることを示唆している。 イベント抽出のための標準化された公正かつ再現可能なベンチマークであるTEXTEEを提案する。
    論文  参考訳（メタデータ）   (Thu, 16 Nov 2023 04:43:03 GMT)
  • Event Extractionのサーベイとベンチマークの提案。以前の評価の問題点の一個目が「Unfair comparison」、「Due to the lack of a standardized evaluation framework, we observe that many approaches are inappropriately compared in the previous literature.」とかなり厳しめ。
  • LLM関連として Llama-2-13B、GPT3.5-turboの結果も記載されているが、特化型モデルと比べて低いスコアとなっている。
  • リポジトリはGitHub – ej0cl6/TextEE: A standardized, fair, and reproducible benchmark for evaluating event extraction approaches