OPRO: Optimization by PROmpting

  • Large Language Models as Optimizers [111.9]
    本研究では,最適化タスクを自然言語で記述する大規模言語モデル(llms)を最適化器として活用するための,単純かつ効果的な手法であるoproを提案する。 OPROによって最適化された最良のプロンプトは、GSM8Kでは最大8%、Big-Bench Hardタスクでは最大50%性能が向上することを示した。
    論文  参考訳(メタデータ)   (Thu, 7 Sep 2023 00:07:15 GMT)
  • LLMを用いて最適化を行う手法の提案。テキスト入力、テキスト出力なLLM利用におけるプロンプト自体も最適化していけるのが興味深い。
  • 見つかったトップインストラクションの事例「Take a deep breath and work on this problem step-by-step.」や「A little bit of arithmetic and a logical approach will help us quickly arrive at the solution to this problem(GPT-3.5向け)」「Let’s combine our numerical command and clear thinking to quickly and accurately decipher the answer(GPT-4向け)」はベースラインである「Let’s think step by step.」よりかなり良いスコアだが、人間へのアドバイスのようで非常に面白い。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です