PASTA: Post-hoc Attention Steering for LLMs

  • Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs [84.0]
    PASTAは、大きな言語モデルでユーザーが指定した強調マークでテキストを読むことができる方法である。 LLMのユーザ命令に従う能力を大幅に強化したり、ユーザ入力から新たな知識を統合することができる。
    論文  参考訳（メタデータ）   (Fri, 3 Nov 2023 22:56:43 GMT)
  • 斜体や太字などLLMを協調書体へ対応させる方法の提案。Post hocなアプローチでfine tuningのようなパラメータ更新を必要としないが特徴的。効果は高いとのこと。
  • リポジトリはGitHub – QingruZhang/PASTA: PASTA: Post-hoc Attention Steering for LLMs

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です