LLM Agent関連(OSS, 音楽, LLM強化, マクロ経済)

最近、LLMをAgentとして使う研究が多く発表されている。LLMのAgents – arXiv最新論文の紹介 (devneko.jp)で取り上げたようにオープンな取り組み、音楽特化のような分野特化の取り組み、LLM自体を強化する取り組み(Llama 2 70Bを強化しgpt-3.5-turbo相当)など様々な研究がある。この分野が社会実装されると影響が大きく要注目。

  • MusicAgent: An AI Agent for Music Understanding and Generation with Large Language Models [54.6]
    MusicAgentは、多数の音楽関連ツールと、ユーザの要求に対処するための自律ワークフローを統合している。 このシステムの第一の目的は、AI音楽ツールの複雑さからユーザーを解放し、クリエイティブな側面に集中できるようにすることである。
    論文  参考訳(メタデータ)   (Wed, 18 Oct 2023 13:31:10 GMT)
  • AI+音楽のためのエージェント、分野特化の取り組みは珍しいが1分野に様々なタスクがありツールがありという状況だと非常に役に立つと思う。
  • リポジトリはmuzic/agent at main · microsoft/muzic · GitHub
  • AgentTuning: Enabling Generalized Agent Abilities for LLMs [35.7]
    本稿では,オープンな大規模言語モデルのエージェント能力を高めるための,シンプルで汎用的なAgentTuningを提案する。 我々は、AgentInstructと一般的なドメインからのオープンソース命令を組み合わせることで、ハイブリッドなインストラクションチューニング戦略を採用する。 評価の結果,AgentTuning は汎用能力を損なうことなく LLM のエージェント機能を実現することができることがわかった。
    論文  参考訳(メタデータ)   (Thu, 19 Oct 2023 15:19:53 GMT)
  • 言語モデルのエージェント能力を高めるデータAgentInstructを構築、AgentTuningによってLlama 2 ベースのAgentLMを構築、70Bでgpt-3.5-turbo相当の能力とのこと
  • リポジトリはGitHub – THUDM/AgentTuning: AgentTuning: Enabling Generalized Agent Abilities for LLMs
  • Large Language Model-Empowered Agents for Simulating Macroeconomic Activities [48.6]
    大規模言語モデル(LLM)は、最近、自律的な人間のような特徴を提供することで有名になった。 我々は,人為的な意思決定と適応性を示すために,プロンプトエンジニアリング駆動型LLMエージェントを設計する。 我々の研究は、LLMとその人間的特性に基づいてマクロ経済学をシミュレートする有望な可能性を実証している。
    論文  参考訳(メタデータ)   (Mon, 16 Oct 2023 14:19:40 GMT)
  • マクロ経済シミュレーションへのLLM活用、「Classic macroeconomic phenomena are reproduced and more reasonable compared to traditional rule-based or AI agents.」とのこと。

EUREKA:  Evolution-driven Universal REward Kit for Agent

  • Eureka: Human-Level Reward Design via Coding Large Language Models [126.0]
    大規模言語モデル(LLM)は、シーケンシャルな意思決定タスクのためのハイレベルなセマンティックプランナーとして優れています。 LLMを用いた人間レベルの報酬設計アルゴリズムであるEurekaを提案する。 Eurekaは、最先端のLLMの目覚ましいゼロショット生成、コード書き、コンテキスト内改善機能を利用する。
    論文  参考訳(メタデータ)   (Thu, 19 Oct 2023 17:31:01 GMT)
  • LLMを用いた reward design algorithm の提案。性能は人間レベルとのことであり、「EUREKA can improve and benefit from human reward functions.」とのこと。強化学習を利用する場合に難しい部分をサポートできる可能性がある。
  • プロジェクトサイトはEureka | Human-Level Reward Design via Coding Large Language Models (eureka-research.github.io)

Automatic Hallucination Assessment for Aligned Large Language Models via Transferable Adversarial Attacks

  • Automatic Hallucination Assessment for Aligned Large Language Models via Transferable Adversarial Attacks [98.2]
    本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。 具体的には,LLM ベースのフレームワークである Auto Debug について述べる。 実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
    論文  参考訳(メタデータ)   (Thu, 19 Oct 2023 06:37:32 GMT)
  • LLMを評価するため(にHallucinationを引き起こす)データセットをエビデンス付きで自動作成するAutoDebugフレームワークワークの提案、対GPT-4やPaLMに対しても有効なよう
  • プロジェクトサイトはAutomatic Hallucination Assessment for Aligned Large Language Models via Transferable Adversarial Attacks (autodebug-llm.github.io)