- InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models [117.9]
大規模言語モデル(LLM)は命令従者であるが、異なる状況に最適な命令を見つけることは困難である。 我々は,オープンソースLLMに適用した低次元ソフトプロンプトを最適化し,ブラックボックスLLMの命令を生成する。 InstructZero は,様々な下流タスクにおいて SOTA 自動命令手法より優れていることを示す。
論文 参考訳（メタデータ） (Mon, 5 Jun 2023 17:55:22 GMT) - プロンプトを自動で改善する取り組み、ブラックボックスなLLM（GPT-4など）に対して直接プロンプトを最適化するのではなく、オープンソースなLLMを併用する事が特徴的。Fugu-MT 論文翻訳(概要): Large Language Models Are Human-Level Prompt Engineers (fugumt.com)を上回る結果
- リポジトリはGitHub – Lichang-Chen/InstructZero: Official Implementation of InstructZero; the first framework to optimize bad prompts of ChatGPT(API LLMs) and finally obtain good prompts!