- WizardLM: Empowering Large Language Models to Follow Complex Instructions [67.4]
ヒトの代わりに大規模言語モデルを用いて、様々なレベルの複雑さを持つ大量の命令データを作成する方法を示す。 我々は提案したEvol-Instructを使って、より複雑な命令と微調整のLLaMAを段階的に書き直す。 複雑性バランステストベッド上での人間評価は、Evol-Instructからの指示が人間が作ったものよりも優れていることを示している。
論文 参考訳（メタデータ） (Mon, 24 Apr 2023 16:31:06 GMT) - 現実問題として規約的にできない場合はあるが、LLMを用いた instruction dataの作成。様々な複雑さのデータを作れるのが特徴とのこと。作成したデータ＋LLaMAで作ったモデルはAlpaca、Vicunaより優れているように見えるがChatGPTには及んでいなさそう。
- リポジトリはGitHub – nlpxucan/WizardLM: WizardLM: Empowering Large Pre-Trained Language Models to Follow Complex Instructions