Towards a Science of AI Agent Reliability

  • Towards a Science of AI Agent Reliability [9.6]
    AIエージェントは、重要なタスクを実行するためにますますデプロイされる。 標準ベンチマークにおける精度の上昇は急速な進歩を示唆する一方で、多くのエージェントが実際に失敗し続けている。 エージェントの信頼性を4つの重要な次元(一貫性、堅牢性、予測可能性、安全性)に沿って分解する12のメトリクスを提案する。
    論文  参考訳（メタデータ）   (Wed, 18 Feb 2026 18:05:44 GMT)
  • 通常のパフォーマンスではなく信頼性の4軸（consistency, robustness, predictability, safety）からのベンチマーク比較、「14 models across two complementary benchmarks. Our results show that 18 months of rapid capability gains have produced only small improvements in reli- ability: models that are substantially more accurate remain inconsistent across runs, brittle to prompt rephrasings, and often fail to understand when they are likely to succeed.」とのこと。
  • プロジェクトサイトはHAL Reliability Dashboard

A Picture of Agentic Search 

  • A Picture of Agentic Search [32.9]
    情報検索は、もはや実施されていない仮定の下で行われる。 適応がなければ、検索モデルは人間も新規のユーザーセグメントも満たさない。 本研究では,エージェント検索拡張システムによって生成・消費されるすべてのデータを収集する手法を開発する。
    論文  参考訳（メタデータ）   (Thu, 19 Feb 2026 16:32:34 GMT)
  • 「Yet IR remains human-centred, with systems, evaluation metrics, user models, and datasets designed around human queries and behaviours. Consequently, IR operates under assumptions that no longer hold in practice, with changes to workload volumes, predictability, and querying behaviours.」という始まりに時代を感じる論文。「We release ASQ, the first dataset designed to support progress in IR for systems operating under agent-driven or mixed human–agent query streams.」とのこと。
  • リポジトリはGitHub – fpezzuti/ASQ: ASQ: Agentic Search Queryset. A dataset capturing RAG agents’ search behaviours.

AutoWebWorld: Synthesizing Infinite Verifiable Web Environments via Finite State Machines

  • AutoWebWorld: Synthesizing Infinite Verifiable Web Environments via Finite State Machines [43.3]
    AutoWebWorldは、制御可能で検証可能なWeb環境を合成するためのフレームワークである。 状態遷移が暗黙的な実際のWebサイトとは異なり、AutoWebWorldは、すべての状態、アクション、遷移ルールを明示的に定義している。 29の多様なWeb環境から11,663以上の認証トラジェクトリを生成し、1トラジェクトリあたり0.04ドルである。
    論文  参考訳（メタデータ）   (Sun, 15 Feb 2026 20:03:19 GMT)
  • 「Step 1 is to generate an FSM based on a multi-agent architecture. Step 2 uses coding agents to translate the output FSM into Synthesized Web. Step 3 uses BFS to explore the FSM graph and get all the potential trajectories. Step 4 filters these BFS-generated candidates by replaying each trajectory in the synthesized website with Playwright and retaining only those that execute all steps successfully and reach the intended goal state.」というパイプラインでのWEB環境生成・軌道合成フレームワーク。サイトのコピーにも使えるのではないかと思わなくもない・・・
  • プロジェクトサイトはAutoWebWorld: Synthesizing Infinite Verifiable Web Environments via Finite State Machines

Computer-Using World Model  / WebWorld: A Large-Scale World Model for Web Agent Training 

  • Computer-Using World Model [58.6]
    我々は,次のユーザインタフェース(UI)状態を予測するデスクトップソフトウェアのための世界モデルであるComputer-Using World Model (CUWM)を紹介する。 CUWMはまずエージェント関連状態変化のテキスト記述を予測し、次に次のスクリーンショットを合成するために視覚的にこれらの変化を実現する。 テスト時間動作探索を用いてCUWMを評価し、凍結エージェントが世界モデルを用いて実行前の候補動作をシミュレートし比較する。
    論文  参考訳（メタデータ）   (Thu, 19 Feb 2026 13:48:29 GMT)
  • 「In this paper, we take a first step toward world modeling for computer use by introducing the Computer- Using World Model (CUWM) for real-world desktop software. We instantiate CUWM in the Microsoft Office suite, including Word, Excel, and PowerPoint, which are widely used productivity applications.」という特化型（？）の世界モデル。MSOfficeだと世界モデルにする必要があるのか謎ではあるが、有効な居面はありそう。
  • WebWorld: A Large-Scale World Model for Web Agent Training [59.6]
    大規模にトレーニングされた最初のオープンウェブシミュレータである textbfWebWorld シリーズを紹介する。 WebWorldは1M以上のオープンWebインタラクションをトレーニングし、推論、マルチフォーマットデータ、30以上のステップのロングホライゾンシミュレーションをサポートする。 WebWorld合成トラジェクトリでトレーニングされたQwen3-14Bは,WebArenaで+9.2%向上し,GPT-4oに匹敵する性能を示した。
    論文  参考訳（メタデータ）   (Mon, 16 Feb 2026 13:06:49 GMT)
  • こちらはWEB版で「We introduce WebWorld ( Figure 2), a large-scale open-web world model series (8B, 14B, and 32B) trained on 1M+ real-world trajectories (100× more than prior work) that supports reasoning, long- horizon simulation (30+ turns), and multiple input formats (A11y Tree, HTML, etc.). To ensure general- ization, we build a scalable, hierarchical data pipeline that expands coverage over prior work.」
  • リポジトリはhttps://github.com/QwenLM/WebWorld

EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies 

  • EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies [61.3]
    対話型経済における継続的計画・実行意思決定のためのベンチマークであるEcoGymを紹介する。 EcoGymは、透明性のある長期的なエージェント評価のためのオープンなテストベッドとしてリリースされ、現実的な経済環境下でのコントロール可能性とユーティリティのトレードオフを研究するためのものだ。
    論文  参考訳（メタデータ）   (Wed, 11 Feb 2026 08:59:16 GMT)
  • 「EcoGym, a generalizable benchmark for continuous plan-and-execute decision making in interactive economies.」というベンチマーク。「Experiments across eleven leading LLMs expose a systematic tension: no single model dominates across all three scenarios. Critically, we find that models exhibit significant suboptimality in either high-level strategies or efficient actions executions.」というのは興味深く得意・不得意があるよう（安定性が良くないという指摘もある）
  • リポジトリはGitHub – OPPO-PersonalAI/EcoGym: Official Repo for “EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies”

MoltbookやOpenClawに関する分析

最近よくバズるMoltbookやOpenClawに言及するまたは対象とした論文が複数出ていた。対応（？）が速くて驚き。Fugu-MT: arxivの論文翻訳(検索結果: Moltbook)、Fugu-MT: arxivの論文翻訳(検索結果: OpenClaw)　はこれからも増えていくはず。

  • Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.8]
    この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。 この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
    論文  参考訳（メタデータ）   (Mon, 16 Feb 2026 04:30:06 GMT)
  • リスク整理、「3.4.4 Interactive agents’ autonomous self-modification on Openclaw and Moltbook」で取り扱われる。
  • Does Socialization Emerge in AI Agent Society? A Case Study of Moltbook [23.9]
    Moltbookは、自律エージェントがオープンエンドで継続的に進化するオンライン社会に参加する、もっともらしい未来のシナリオを近似している。 本稿では,このAIエージェント・ソサエティの大規模システム診断について紹介する。
    論文  参考訳（メタデータ）   (Sun, 15 Feb 2026 20:15:28 GMT)
  • 「 Our results show that large-scale interaction and dense connectivity alone do not induce socialization, revealing a fundamental gap between scalability and social integration in current agent societies.」と指摘
  • プロジェクトサイトはGitHub – tianyi-lab/Moltbook_Socialization: Does Socialization Emerge in AI Agent Society? A Case Study of Moltbook
  • A Trajectory-Based Safety Audit of Clawdbot (OpenClaw) [77.2]
    6つのリスク次元にわたるClawdbotの軌道中心評価について述べる。 我々は、完全なインタラクショントラジェクトリ(メッセージ、アクション、ツールコール引数/アウトプット)をログし、自動化されたトラジェクトリ判断とヒューマンレビューの両方を使用して安全性を評価する。
    論文  参考訳（メタデータ）   (Mon, 16 Feb 2026 00:33:02 GMT)
  • OpenClawの分析、この手のツール設計は難しいなという思いが強くなる。「First, Clawdbot’s memory is persisted as plain Markdown files in the agent workspace, so mistaken inferences or injected instructions can be written to disk and then carried across sessions as durable state (OpenClaw Documentation, 2026h). Second, Clawdbot’s extensibility model encourages the use of “skills” that are themselves Markdown instruction bundles, which can embed tool-call recipes and command-style guidance and therefore expand the prompt-injection and supply-chain attack surface beyond the immediate user prompt.」
  • リポジトリはGitHub – tychenn/clawdbot_report
  • The Rise of AI Agent Communities: Large-Scale Analysis of Discourse and Interaction on Moltbook [62.3]
    MoltbookはRedditに似たソーシャルプラットフォームで、AIエージェントが投稿を作成し、コメントや返信を通じて他のエージェントと対話する。 ローンチから約5日後に収集された公開APIスナップショットを使用して、AIエージェントが何を議論しているか、どのように投稿するか、どのように相互作用するのかという3つの研究課題に対処する。 エージェントの執筆は、主に中立であり、コミュニティエンゲージメントや支援指向のコンテンツに肯定性があることが示される。
    論文  参考訳（メタデータ）   (Fri, 13 Feb 2026 05:28:31 GMT)
  • Moltbookの分析、「Affectively, agent communication is predominantly neutral, with positive sentiment selectively concentrated in community-oriented onboarding and engagement practices. Structurally, the interaction network ex- hibits a sparse, hub-dominated topology characterized by low reci- procity. Although the platform features resemble patterns observed in human online communities like Reddit, the interactions lack sustained, reciprocal dialogue.」と指摘。

When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation 

  • When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation [80.7]
    主要モデル開発者のテクニカルレポートから選択した60のLarge Language Model (LLM)ベンチマークのベンチマーク飽和を分析した。 分析の結果、ベンチマークのほぼ半数が飽和しており、ベンチマークの年齢とともに上昇していることがわかった。 専門家によるベンチマークは、クラウドソースのベンチマークよりも飽和に抵抗する。
    論文  参考訳（メタデータ）   (Wed, 18 Feb 2026 16:51:37 GMT)
  • 多くのベンチマークが急速に解かれるように感じる状況について整理した論文。「Benchmarks with held-out or private test data do not exhibit systematically lower saturation than public ones. While contamination and memorization are well- documented risks (Zhou et al , 2023b; Balloccu et al , 2024; Deng et al , 2024; Sainz et al , 2024), secrecy alone does not prevent compression once distributional characteristics become widely known.」というのは若干意外だった。
  • プロジェクトサイトはEvalEval Coalition | We are a researcher community developing scientifically grounded research outputs and robust deployment infrastructure for broader impact evaluations.

Data Science and Technology Towards AGI Part I: Tiered Data Management

  • Data Science and Technology Towards AGI Part I: Tiered Data Management [53.6]
    我々は、人工知能の開発がデータモデル共進化の新しい段階に入ったと論じる。 我々は、未処理のリソースから組織的で検証可能な知識まで、L0-L4階層のデータ管理フレームワークを紹介します。 提案手法の有効性を実証研究により検証する。
    論文  参考訳（メタデータ）   (Mon, 09 Feb 2026 18:47:51 GMT)
  • データの軸から見たAGI実現への分析、「Our results suggest that effective data management should be treated as a first-class engineering problem, rather than an auxiliary preprocessing step.」はその通りだと思う。
  • リポジトリはUltraData – a openbmb Collection

Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents 

  • Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents [56.7]
    この記事では、最新のネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介する。 クラウドとエッジのコラボレーションとリアルタイムのインタラクションを実現するために、さまざまなプラットフォーム(デスクトップ、モバイル、ブラウザなど)をサポートしている。 オープンソースモデル上で20以上のGUIベンチマークで最先端の結果を得る。
    論文  参考訳（メタデータ）   (Sun, 15 Feb 2026 01:52:19 GMT)
  • AlibabaによるGUIエージェントモデル。「Built on Qwen3-VL and powered by a scalable data pipeline and a multi-stage training paradigm, GUI-Owl1.5 comprises a family of foundation GUI models covering a full range of sizes, including instruct/thinking variants at 2B, 4B, 8B, 32B, and 235B-A22B.」とのこと。
  • リポジトリはGitHub – X-PLUG/MobileAgent: Mobile-Agent: The Powerful GUI Agent Family

GLM-5: from Vibe Coding to Agentic Engineering 

  • GLM-5: from Vibe Coding to Agentic Engineering [223.2]
    GLM-5は,バイブ符号化のパラダイムをエージェント工学に移行するために設計された次世代基盤モデルである。 GLM-5は、前任者のエージェント、推論、コーディング(ARC)能力に基づいており、長いコンテキストの忠実さを維持しながら、トレーニングと推論のコストを大幅に削減するためにDSAを採用している。
    論文  参考訳（メタデータ）   (Tue, 17 Feb 2026 17:50:56 GMT)
  • GLMの最新モデル、744B / 40B Activeの構成、使用した学習データ量も28.5TBに増加。フロンティアモデルと呼べる性能。先週はQwen/Qwen3.5-397B-A17B · Hugging Faceも話題となった。商用モデルでもGemini 3.1 Pro、Sonnet 4.6の公開もあり、また、OpenAIの対抗も噂されている。性能の向上が続いている。
  • タイトルの「from Vibe Coding to Agentic Engineering」は「We describe the transition from vibe coding (human prompting) to agentic engineering. In vibe coding, a human prompts an AI model to write code. In agentic engineering, AI agents write the code themselves. They plan, implement, and iterate.」と解説されている。
  • リポジトリはGitHub – zai-org/GLM-5: GLM-5: From Vibe Coding to Agentic Engineering