タグ: LLM

Prompt Injection Attacks and Defenses in LLM-Integrated Applications 

English benchmark for stress-testing machine ToM

  • FANToM: A Benchmark for Stress-testing Machine Theory of Mind in Interactions [94.6]
    現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。 本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
    論文  参考訳（メタデータ）   (Wed, 25 Oct 2023 06:46:42 GMT)
  • Theory of MindのベンチマークFANToMに関する論文。どうでもよいが、English benchmark for stress-testing machine ToM という略称の作り方は無理筋なのでは・・・
  • 「We show that FANTOM is challenging for state-of-the-art LLMs, which perform significantly worse than humans even with chainof-thought reasoning or fine-tuning.」とのことで難しいベンチマークとのこと。「We do not believe that current LLMs possess an actual ToM.」という注釈も興味深い。LLMのスコアは人間のスコアよりも著しく悪く、プロジェクトサイトでは「LLMs do not have a coherent theory of mind」と書かれている。
  • 社会的・倫理的考察では「While the concept of ToM attempts to capture the ability to attribute mental states to oneself and others (Premack and Woodruff, 1978), it is important to clarify that AI models do not possess subjective consciousness or true understanding of intentions, beliefs, or desires. Our experiment results also demonstrate that current large language models do not exhibit any coherent ToM reasoning; instead, they primarily rely on word correlations.」とのことで、単語の相関関係のみで何かがあるように見えているだけなのでは？というのが一番ありそう。（人間はどうなんだ？という話もあり、議論が発散していきそうな領域でもある）
  • プロジェクトサイトはFANToM: A New Benchmark for Machine ToM in Interactions (hyunw.kim)

Personalized Large Language Model Alignment

  • Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.8]
    パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
    論文  参考訳（メタデータ）   (Tue, 17 Oct 2023 20:22:13 GMT)
  • RLHFにおいてパーソナライズされた方向にアライメントするP-MORL: PROMPTED-MORL、P-SOUP: PERSONALIZED SOUPSを提案。人による評価とGPT-4による評価が割れているのも興味深いところ。。
  • リポジトリはGitHub – joeljang/RLPHF: Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging

X-of-Thoughts 

  • Plan, Verify and Switch: Integrated Reasoning with Diverse X-of-Thoughts [65.2]
    我々は,多種多様な推論の思考をLCMに促すことにより,総合的な問題解決フレームワーク XoT を提案する。 各質問に対して、XoTは常に最も適切なメソッドを選択して始まり、各メソッドを反復的に実行する。 各イテレーション内で、XoTは生成された回答の有効性を積極的にチェックし、外部エグゼクタからのフィードバックを取り入れます。
    論文  参考訳（メタデータ）   (Mon, 23 Oct 2023 07:02:20 GMT)
  • of thoughtシリーズのワイルカード版（？）、計画・推論・検証モジュールを持ち、of thoughtな手法を選び使い検証しながら問題を解く。様々なベンチマークで有効性を検証したとのこと。複数手法を組み合わせるアンサンブル的な動きでもあり検証から再計画をするエージェント的な動きでもあり、効果はありそう。
  • リポジトリはGitHub – tengxiaoliu/XoT: EMNLP 2023 Plan, Verify and Switch: Integrated Reasoning with Diverse X-of-Thoughts

Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time

  • Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time [91.0]
    数十億のパラメータを持つ大規模言語モデル(LLM)が、エキサイティングなAIアプリケーションに新たな波を巻き起こした。 既存の方法は、コストのかかる再訓練が必要か、LLMのコンテキスト内学習能力を捨てるか、ウォールクロックのスピードアップを達成できないかのいずれかである。 DejaVuは,各層に与えられた入力をリアルタイムで予測するために,低コストなアルゴリズムを用いたシステムである。
    論文  参考訳（メタデータ）   (Thu, 26 Oct 2023 05:01:09 GMT)
  • リポジトリはGitHub – FMInference/DejaVu

Tree Prompting

  • Tree Prompting: Efficient Task Adaptation without Fine-Tuning [112.7]
    Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。 分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
    論文  参考訳（メタデータ）   (Sat, 21 Oct 2023 15:18:22 GMT)
  • ツリー(Decision Tree)＋LLM call(の応答）で目的を達しようという論文。Agent関連で用いられるアプローチに似ていて効果はありそう。
  • リポジトリはGitHub – csinva/tree-prompt: Tree prompting: easy-to-use scikit-learn interface for improved prompting.

Language Models Hallucinate, but May Excel at Fact Verification

  • Language Models Hallucinate, but May Excel at Fact Verification [95.6]
    大規模言語モデル(LLM)はしばしば「幻惑(hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、事実の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
    論文  参考訳（メタデータ）   (Mon, 23 Oct 2023 04:39:01 GMT)
  • 様々なモデルや条件でのハルシネーションについて検証した論文。「Surprisingly, FLAN-T511B, the least factual generator in our study, performs the best as a fact verifier, even outperforming more capable LLMs like GPT3.5 and ChatGPT.」という結果。
  • 「The overall inferior performance of not using evidence reveals the importance of retrieval.」は個人的な感覚にもあう。

FELM: Factuality Evaluation of large Language Models

  • FELM: Benchmarking Factuality Evaluation of Large Language Models [40.8]
    本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
    論文  参考訳（メタデータ）   (Sun, 1 Oct 2023 17:37:31 GMT)
  • world knowledge、 science/technology、 writing/recommendation、 reasoning、mathのドメインからなるベンチマーク、アノテーションがめっちゃしんどそう。。。
  • リポジトリはGitHub – hkust-nlp/felm: Github repository for “FELM: Benchmarking Factuality Evaluation of Large Language Models”

LLMを含む金融分野のNLP評価

  • Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing [22.8]
    FinLMEvalは金融言語モデル評価のためのフレームワークである。 本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
    論文  参考訳（メタデータ）   (Thu, 19 Oct 2023 11:43:15 GMT)
  • 複数の金融分野でのデータセットでBERTなどencoder系モデル＋finetuning、LLMを比較、「Our results show that fine-tuning expert encoder-only models generally perform better than the decoder-only LLMs on the financial NLP tasks, and adding in-context demonstrations barely improves the results.」とのこと。前半はそうだろうという結果だが、後半はちょっと不思議。

SOTOPIA

  • SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [110.6]
    人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
    論文  参考訳（メタデータ）   (Wed, 18 Oct 2023 02:27:01 GMT)
  • 様々なシナリオでロールプレイをし、社会的知性を測ることができる環境STOPIAとベンチマークSOTOPIA-EVALの提案。人間との比較でGPT-4は優秀ではあるが、GOAL指標（目標の達成度合い）における大きな差と「It is also worth noting that humans on average produce 16.8 words per turn, while GPT-4 produces 45.5 words per turn, which indicates humans are more efficient in social interactions.」という指摘が興味深い。
  • プロジェクトサイトはSotopia