コンテンツへスキップ
- Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents [106.9]
大規模言語モデル(LLM)エージェントは、現実世界のソフトウェア工学(SWE)問題を解決する大きな可能性を示している。 専門知識を活かしたフレームワークであるDEI(Diversity Empowered Intelligence)を提案する。 実験により、DEAが指導するエージェント委員会が、最高のエージェントのパフォーマンスを大きなマージンで上回ることが可能であることが示されている。
論文 参考訳（メタデータ） (Tue, 13 Aug 2024 17:50:28 GMT)
- 様々なところで研究開発が進む、ソフトウエア開発に関する自立型エージェント。本件はSalesforceの研究で「DEI aims to harness these varied skills to tackle a broader range of problems more effectively with a multi-agent ensemble system and a re-ranking pipeline」というアプローチ（DEI =Diversity Empowers Intelligence ）
- 標準的ベンチマークが確立すると研究開発や分析が高速に進む。。。
- リポジトリはSalesforce Research DEI Agents (salesforce-research-dei-agents.github.io)
- The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery [14.5]
本稿では,完全自動科学的発見のための最初の包括的枠組みについて述べる。 我々は、新しい研究アイデアを生成し、コードを書き、実験を実行し、結果を視覚化し、その結果を説明するThe AI Scientistを紹介します。 原則として、このプロセスは、人間の科学コミュニティのように行動しながら、オープンな方法でアイデアを反復的に発展させることができる。
論文 参考訳（メタデータ） (Mon, 12 Aug 2024 16:58:11 GMT)
- Sakana AIが関わる科学者的自立型エージェント。「Each idea is implemented and developed into a full paper at a meager cost of less than $15 per paper, illustrating the potential for our framework to democratize research and significantly accelerate scientific progress.」とのこと。コードなどが公開されているのがすごい。「From manual inspection, we find that Claude Sonnet 3.5 consistently produces the highest quality papers, with GPT-4o coming in second.」という記載や、Common Failure Modesも参考になる。
- パフォーマンスに関してはなかなか判断が難しいという印象だが、設定を少し変えた研究を大量にやらせてみるなど、活用可能性はあるかもしれない。
- リポジトリはGitHub – SakanaAI/AI-Scientist: The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery 🧑🔬
- From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.6]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文 参考訳（メタデータ） (Mon, 05 Aug 2024 14:01:15 GMT)
- LLMを用いたソフトウエア工学に関するサーベイ。エージェントにもフォーカスしている。
- 「The analysis revealed that the emergence of LLM-based agents has led to extensive research and applications across various software engineering topics, demonstrating different emphases compared to traditional LLMs in terms of tasks, benchmarks, and evaluation metrics.」と結論し、Agentの有効性を示唆していそう。（しかしtraditional LLMsって・・・）
- AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? [50.4]
言語エージェントがWeb上で現実的で時間を要するタスクを実行できるかどうかを調査する。 自動評価が可能な214の現実的なタスクからなる新しいベンチマークであるAssistantBenchを紹介する。 我々は,AssistantBenchが,言語モデルや検索拡張言語モデルなど,現在のシステムの限界を明らかにすることを発見した。
論文 参考訳（メタデータ） (Mon, 22 Jul 2024 15:18:45 GMT)
- WEBエージェントが時間をかけて解決するようなタスクを集めたベンチマーク。「What Daniel Craig movie that is less than 150 minutes and available on Netflix US has the highest IMDB rating?」というようなタスクだそうで、簡単ではない。
- プロジェクトサイトはAssistantBench
- Very Large-Scale Multi-Agent Simulation in AgentScope [115.8]
我々は,ユーザフレンドリーなマルチエージェントプラットフォームであるAgentScopeの新機能とコンポーネントを開発した。 高いスケーラビリティと高効率を実現するために,アクタをベースとした分散機構を提案する。 多数のエージェントを便利に監視し、管理するためのWebベースのインターフェースを提供する。
論文 参考訳（メタデータ） (Thu, 25 Jul 2024 05:50:46 GMT)
- マルチエージェントシミュレーションを想定したフレームワークの提案、Apache 2ライセンスとOSS。使いやすそうなのと「Users only need to simply specify the distributions of the population from several aspects, a large number of agents with detailed and diverse characteristics can be effortlessly generated accordingly.」といった機能があるのも特徴的。
- リポジトリはGitHub – modelscope/agentscope: Start building LLM-empowered multi-agent applications in an easier way.
- GTA: A Benchmark for General Tool Agents [32.4]
229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。 GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。 この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
論文 参考訳（メタデータ） (Thu, 11 Jul 2024 17:50:09 GMT)
- リアルなシナリオでツールを利用して問題を解くエージェントの能力を評価するベンチマーク。想定されているツールはOCRやDrawBox、Calculator、TextToImageなど14種類。「Our findings show that realworld user queries are challenging for existing LLMs, with GPT-4 completing less than 50% of the tasks and most LLMs achieving below 25%.」とのこと。
- リポジトリはGitHub – open-compass/GTA: Official repository for paper “GTA: A Benchmark for General Tool Agents”
- Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.8]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (Mon, 15 Jul 2024 17:54:37 GMT)
- マルチモーダルエージェントのためのベンチマーク、対象タスクは「494 real-world tasks across the complete data science and engineering workflows (from data warehousing to orchestration)」とこれが自動化されると影響は少なくなさそう（ただしAutoMLなど過去から自動化を目指してきた業務ではある）
- 「The most advanced VLM (GPT-4V) still performs poorly on Spider2-V (achieving 14.0% success rate), rendering it a very challenging benchmark.」と最新モデルでもスコアはかなり悪い。
- リポジトリはSpider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?
- Self-Evolving GPT: A Lifelong Autonomous Experiential Learner [40.2]
大規模言語モデル(LLM)に基づく生涯の自律的経験学習フレームワークを設計する。 自律的に学習し、経験の伝達と帰納を通じて経験を蓄積し、どのような種類の入力質問を分類し、どの蓄積された経験を雇用するかを選択する。 6つのNLPデータセットによる実験結果から,本フレームワークは各中間段階において確実に動作し,GPT-3.5およびGPT-4の性能を効果的に向上することが示された。
論文 参考訳（メタデータ） (Fri, 12 Jul 2024 02:49:13 GMT)
- 自律的に学習、自己改善していけるフレームワークの提案。タスク固有の経験をデータとして蓄積していくタイプのよう
- fine tuningを行うタイプの手法ではないためGPT-4などAPI経由でも活用可能。Self-ICLなど他の手法と比べ有効性を確認とのこと。
- Mobile-Bench: An Evaluation Benchmark for LLM-based Mobile Agents [46.8]
大規模言語モデル(LLM)は人間とコンピュータの相互作用においてホットスポットとなっている。 Mobile-Benchは、LLMベースのモバイルエージェントの能力を評価するための新しいベンチマークである。
論文 参考訳（メタデータ） (Mon, 01 Jul 2024 06:10:01 GMT)
- モバイルエージェント向けベンチマーク
- リポジトリはhttps://github.com/XiaoMi/MobileBenchとのこと（arXivへの公開時点では404）