- Leveraging Large Language Models for Topic Classification in the Domain of Public Affairs [65.9]
大規模言語モデル (LLM) は公務員文書の分析を大幅に強化する可能性を秘めている。 LLMは、公共の分野など、ドメイン固有のドキュメントを処理するのに非常に役立ちます。
論文 参考訳（メタデータ） (Mon, 5 Jun 2023 13:35:01 GMT) - 公共の文書を分類するためにLLMを使うという報告。なのだが使われているのがRoBERTa系なので、これをLLMといってよいのかは謎。PromptやICLを使う戦略でもなくPLMを使ったという表現の方がしっくりくる。
- 結論としてSVMの併用が有効としているのは実用的にはそうだよねーと思う
日: 2023年6月12日
InstructZero
- InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models [117.9]
大規模言語モデル(LLM)は命令従者であるが、異なる状況に最適な命令を見つけることは困難である。 我々は,オープンソースLLMに適用した低次元ソフトプロンプトを最適化し,ブラックボックスLLMの命令を生成する。 InstructZero は,様々な下流タスクにおいて SOTA 自動命令手法より優れていることを示す。
論文 参考訳（メタデータ） (Mon, 5 Jun 2023 17:55:22 GMT) - プロンプトを自動で改善する取り組み、ブラックボックスなLLM（GPT-4など）に対して直接プロンプトを最適化するのではなく、オープンソースなLLMを併用する事が特徴的。Fugu-MT 論文翻訳(概要): Large Language Models Are Human-Level Prompt Engineers (fugumt.com)を上回る結果
- リポジトリはGitHub – Lichang-Chen/InstructZero: Official Implementation of InstructZero; the first framework to optimize bad prompts of ChatGPT(API LLMs) and finally obtain good prompts!