MPSC: Multi-Perspective Self-Consistency

  • Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [137.3]
    大規模言語モデル(LLM)のためのMPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。 MPSCは、複数の視点からの出力間での一貫性と、単一の視点内での一貫性の両方を取り入れている。 我々のフレームワークは、様々な人気のあるベンチマークのパフォーマンスを大幅に向上させます。
    論文  参考訳(メタデータ)   (Fri, 29 Sep 2023 14:23:26 GMT)
  • LLMの複数の出力を用い、 inter- and intraconsistency を考慮して最適な出力を選択。通常のSelf consistencyな戦略を上回る性能とのこと。
  • 「Our MPSC framework significantly boosts the performance on various popular benchmarks, including HumanEval (+17.60%), HumanEval Plus (+17.61%), MBPP (+6.50%) and CodeContests (+11.82%) in Pass@1, when compared to original outputs generated from ChatGPT, and even surpassing GPT-4.」はすごい。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です