日: 2022年10月4日

Can Large Language Models Truly Understand Prompts?

  • Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts [19.4]
    これまでの研究では、言語モデル(LM)のサイズと、異なる下流のNLPタスクにおけるゼロショットのパフォーマンスとの間には、スケーリングの法則が存在することが示されている。 本研究では,この現象が負のプロンプトでタスク上で大きなLMを評価する際には有効ではなく,逆のスケーリング法則を示す。
    論文  参考訳（メタデータ）   (Mon, 26 Sep 2022 14:05:10 GMT)
    • プロンプトの表現を否定形で逆にした場合の動作はどうなるか検証した論文。結果、モデルサイズによらず大規模言語モデルは否定的なプロンプトを解釈できていないように見えるとのこと。
      • この手のモデルを「指示を出せるAI」と表現はできなさそうな結果でプロンプトは「解こうとしているモノ」を雰囲気で指定しているにすぎなさそう（人間でもひっかけ問題で同様の間違いをすることはあるので発展途上なだけかもだが）
    • リポジトリはjoeljang/negated-prompts-for-llms: Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts (github.com)

SAP: Sequential Autoregressive Prompting

  • Bidirectional Language Models Are Also Few-shot Learners [54.4]
    SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
    論文  参考訳（メタデータ）   (Thu, 29 Sep 2022 01:35:57 GMT)
    • Promptを用いるモデルのほとんどが単方向モデルだが、双方向モデルでもpromptを実現するフレームワークを提案、少ないパラメータでzero/few shotでの優れた性能を確認とのこと。
    • 面白い結果である一方で（論文でも触れられている通り）計算コストが凄そう…
      • 双方向だと穴埋めがベースなのでしょうがないとも思いつつ、パラメータが少ないけど計算量が莫大って本当に少ないパラメータで済んでいるのだろうか…？