Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [137.3] 大規模言語モデル(LLM)のためのMPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。 MPSCは、複数の視点からの出力間での一貫性と、単一の視点内での一貫性の両方を取り入れている。 我々のフレームワークは、様々な人気のあるベンチマークのパフォーマンスを大幅に向上させます。 論文参考訳(メタデータ) (Fri, 29 Sep 2023 14:23:26 GMT)
LLMの複数の出力を用い、 inter- and intraconsistency を考慮して最適な出力を選択。通常のSelf consistencyな戦略を上回る性能とのこと。
「Our MPSC framework significantly boosts the performance on various popular benchmarks, including HumanEval (+17.60%), HumanEval Plus (+17.61%), MBPP (+6.50%) and CodeContests (+11.82%) in Pass@1, when compared to original outputs generated from ChatGPT, and even surpassing GPT-4.」はすごい。