Quantitative LLM Judges

  • Quantitative LLM Judges [48.7]
    本研究では,既存のLLM審査員の評価スコアを,与えられた領域における人間の評価スコアと整合させる定量的LLM判定者を提案する。 モデルは、裁判官のテキスト評価とスコアを用いて、原判事のスコアを改善するために訓練される。 実験により, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を効果的に向上できることが示された。
    論文  参考訳(メタデータ)   (Tue, 03 Jun 2025 14:44:23 GMT)
  • 「We introduce quantitative judges, a family of LLM judges that disentangle qualitative reasoning from quantitative score prediction in LLM-as-a-judge. Our approach has two stages: the qualitative stage, where a frozen LLM judge generates an evaluation, and the quantitative stage, where these outputs are used by a lightweight model to predict a human score.」というアプローチによる定量評価
  • 現実的な設計方針に思える。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です