日: 2023年10月13日

MPSC: Multi-Perspective Self-Consistency

  • Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [137.3]
    大規模言語モデル(LLM)のためのMPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。 MPSCは、複数の視点からの出力間での一貫性と、単一の視点内での一貫性の両方を取り入れている。 我々のフレームワークは、様々な人気のあるベンチマークのパフォーマンスを大幅に向上させます。
    論文  参考訳（メタデータ）   (Fri, 29 Sep 2023 14:23:26 GMT)
  • LLMの複数の出力を用い、 inter- and intraconsistency を考慮して最適な出力を選択。通常のSelf consistencyな戦略を上回る性能とのこと。
  • 「Our MPSC framework significantly boosts the performance on various popular benchmarks, including HumanEval (+17.60%), HumanEval Plus (+17.61%), MBPP (+6.50%) and CodeContests (+11.82%) in Pass@1, when compared to original outputs generated from ChatGPT, and even surpassing GPT-4.」はすごい。

Think before you speak: Training Language Models With Pause Tokens

  • Think before you speak: Training Language Models With Pause Tokens [78.0]
    言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
    論文  参考訳（メタデータ）   (Tue, 3 Oct 2023 17:32:41 GMT)
  •  pause-inference (and pause-finetuning)として推論（ファインチューニング）時に<pause> tokenを導入、pause中は出力を抑制、抑制している分だけ（<pause> token分だけ）計算経路を増加、性能が向上とのこと。