日: 2024年10月18日

Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents 

  • Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents [32.6]
    Agent Security Bench (ASB) は、LLMベースのエージェントの攻撃と防御を形式化し、ベンチマークし、評価するためのフレームワークである。 我々は, インジェクション攻撃10件, メモリ中毒攻撃, 新規のPlan-of-Thoughtバックドア攻撃, 混合攻撃10件, 対応するバックボーン13件についてベンチマークを行った。 ベンチマークの結果,システムプロンプト,ユーザプロンプト処理,ツール使用量,メモリ検索など,エージェント操作のさまざまな段階における重大な脆弱性が明らかになった。
    論文  参考訳（メタデータ）   (Thu, 03 Oct 2024 16:30:47 GMT)
  • エージェントに対する攻撃と防御のベンチマーク。基礎性能が高くないとそもそもASRが低いが、性能が高いと攻撃を拒否することも可能になるように見える。結果が興味深い。
  • リポジトリはGitHub – agiresearch/ASB: Agent Security Bench (ASB)

GenSim2

  • GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs [38.3]
    GenSim2は、複雑で現実的なシミュレーションタスク作成のためのスケーラブルなフレームワークである。 パイプラインは200のオブジェクトで最大100の調音タスクのデータを生成し、必要な人的労力を減らすことができる。 我々は、生成したデータをゼロショット転送や実世界の収集データとの協調訓練に使用できる、GenSim2の有望な使用法を示す。
    論文  参考訳（メタデータ）   (Fri, 04 Oct 2024 17:51:33 GMT)
  •  (1) task proposal, (2) solver creation, (3) multi-task training, and (4) generalization evaluation and sim-to-real transfer.からなるフレームワークの提案。各所にLLM、MLLMを活用しながらデータ合成を行っていくアプローチ。（NLPのライブラリ gensimではない）
  • プロジェクトサイトはGenSim2: Scaling Robotic Data Generation with Multi-modal and Reasoning LLMs
  • GenSim: A General Social Simulation Platform with Large Language Model based Agents [110.4]
    我々はtextitGenSim と呼ばれる新しい大規模言語モデル (LLM) ベースのシミュレーションプラットフォームを提案する。 我々のプラットフォームは10万のエージェントをサポートし、現実世界のコンテキストで大規模人口をシミュレートする。 我々の知る限り、GenSimは汎用的で大規模で修正可能な社会シミュレーションプラットフォームに向けた最初の一歩である。
    論文  参考訳（メタデータ）   (Sun, 06 Oct 2024 05:02:23 GMT)
  • 大規模なLLM based Agentのシミュレーションプラットフォーム（これもNLPのgemsimではない）
  • リポジトリはGitHub – TangJiakai/GenSim