- Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts [19.4]
これまでの研究では、言語モデル(LM)のサイズと、異なる下流のNLPタスクにおけるゼロショットのパフォーマンスとの間には、スケーリングの法則が存在することが示されている。 本研究では,この現象が負のプロンプトでタスク上で大きなLMを評価する際には有効ではなく,逆のスケーリング法則を示す。
論文 参考訳（メタデータ） (Mon, 26 Sep 2022 14:05:10 GMT)- プロンプトの表現を否定形で逆にした場合の動作はどうなるか検証した論文。結果、モデルサイズによらず大規模言語モデルは否定的なプロンプトを解釈できていないように見えるとのこと。
- この手のモデルを「指示を出せるAI」と表現はできなさそうな結果でプロンプトは「解こうとしているモノ」を雰囲気で指定しているにすぎなさそう（人間でもひっかけ問題で同様の間違いをすることはあるので発展途上なだけかもだが）
- リポジトリはjoeljang/negated-prompts-for-llms: Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts (github.com)
- プロンプトの表現を否定形で逆にした場合の動作はどうなるか検証した論文。結果、モデルサイズによらず大規模言語モデルは否定的なプロンプトを解釈できていないように見えるとのこと。