Confidence v.s. Critique: A Decomposition of Self-Correction Capability for LLMs
Confidence v.s. Critique: A Decomposition of Self-Correction Capability for LLMs [34.2] 大規模言語モデル(LLM)は自己生成応答を補正することができるが、自己補正後の精度の低下も観察されている。 自己訂正能力は、自信(回答を正す自信)と批判(間違った回答を正しいものにする)に分解します。 我々の戦略は両方の能力においてバニラSFTより優れており、自己補正後の精度ははるかに高い。 論文参考訳（メタデータ） (Fri, 27 Dec 2024 08:09:11 GMT)
Confidence scoreとCriticの分析、および、自己修正能力を高める手法の提案
「Confidence prompt/ICL example can lead higer CL and lower CS; critique prompt/ICL example can cause lower CL and higher CS.」（Confidence Level (CL) and Critique Score (CS)）とトレードオフの関係にあるとのこと。
両者を改善するために「Critique Improvement Tuning (CCT), which can be divided into Confidence Level Improvement Tuning (CLT) and Critique Score Improvement Tuning (CST).」を提案