- LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models [25.5]
完全自動推論チェーン評価のためのAutoRaceを導入する。 既存の推論アルゴリズムと新しい推論アルゴリズムのモジュール実装を標準化するためのライブラリである LLM Reasoners も開発している。
論文 参考訳(メタデータ) (Mon, 08 Apr 2024 06:35:09 GMT) - 推論過程を評価するベンチマーク。GPT-4を用いた自動評価。
- プロジェクトサイトはHome | Reasoners (llm-reasoners.net)