- AbGen: Evaluating Large Language Models in Ablation Study Design and Evaluation for Scientific Research [33.8]
AbGenは、科学研究のためのアブレーション研究を設計する際のLLMの能力を評価するために設計された最初のベンチマークである。 そこで我々は,一般的な自動評価システムの信頼性を評価するメタ評価ベンチマークAbGen-Evalを開発した。
論文 参考訳（メタデータ） (Thu, 17 Jul 2025 17:09:22 GMT) - Ablation Studyを生成できるか、および、Ablation Studyを評価できるかを検証するためのベンチマークの提案。現状のLLMはいずれも厳しい結果。
- リポジトリはyale-nlp/AbGen · Datasets at Hugging Face、GitHub - yale-nlp/AbGen: Data and code for the ACL 2025 paper "AbGen: Evaluating Large Language Models in Ablation Study Design and Evaluation for Scientific Research"