Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence 

  • Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence [109.3]
    Embodied Web Agentsは、エンボディメントとWebスケール推論を流動的にブリッジする、AIエージェントのための新しいパラダイムである。 多様なタスクスイートを含むEmbodied Web Agents Benchmarkをリリースする。 その結果、最先端のAIシステムと人間の能力の間には、大きなパフォーマンスのギャップが浮かび上がっている。
    論文  参考訳(メタデータ)   (Wed, 18 Jun 2025 17:58:17 GMT)
  • 「we introduce EMBODIED WEB AGENTS as a new conceptual paradigm of AI systems that unify physical embodiment with web-scale knowledge access — capable of perceiving and acting in the real world while reasoning over dynamic, unstructured information from the web.」という提案。ベンチマークも構築されている。よくありそうなシチュエーションだが、現時点では先端モデルも苦戦する難しいタスクとなっている。
  • リポジトリはEmbodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence

Counterfactual reasoning: an analysis of in-context emergence

  • Counterfactual reasoning: an analysis of in-context emergence [49.6]
    大規模ニューラルネットワークモデル(LM)は、文脈内学習において顕著な性能を示す。 この研究は、言語モデルにおける文脈内対実的推論、すなわち仮説的シナリオの下での変化の結果を予測することを研究する。
    論文  参考訳(メタデータ)   (Thu, 05 Jun 2025 16:02:07 GMT)
  • 「we provide insights into how in-context counterfactual reasoning is equivalent to transformations on in-context observations (Lemma 1). 」、「 we empirically show that language models can perform in-context counterfactual reasoning」とのこと。

GUIPilot: A Consistency-based Mobile GUI Testing Approach for Detecting Application-specific Bugs

Interpretable LLMs for Credit Risk: A Systematic Review and Taxonomy 

  • Interpretable LLMs for Credit Risk: A Systematic Review and Taxonomy [0.0]
    大規模言語モデル(LLM)は、財務文書の分析を通じて信用リスクの評価を可能にする。 本稿では、信用リスク推定におけるLSMに基づくアプローチに着目した、最初の体系的レビューと分類について述べる。
    論文  参考訳(メタデータ)   (Wed, 04 Jun 2025 10:24:40 GMT)
  • LLMを使った信用リスク評価のサーベイ

Agents of Change: Self-Evolving LLM Agents for Strategic Planning

  • Agents of Change: Self-Evolving LLM Agents for Strategic Planning [17.7]
    我々は、シンプルなゲームプレイングエージェントから、自身のプロンプトとプレイヤーエージェントのコードを自動で書き直すことができるシステムまで、LSMベースのエージェントの進歩をベンチマークする。 以上の結果から,特にClaude 3.7 や GPT-4o などのモデルによって駆動される自己進化型エージェントは,その戦略を自律的に採用することで,静的ベースラインを上回っていることがわかった。
    論文  参考訳(メタデータ)   (Thu, 05 Jun 2025 05:45:24 GMT)
  • カタンの開拓者を対象として Self-Evolving Agent Frameworkの提案と検証。
  • 「Through extensive experiments, we show that agents capable of prompt and code evolution achieve consistently higher performance than static baselines. The PromptEvolver, in particular, outperforms fixed agents across key metrics, and its gains are amplified when paired with stronger base models, seen in Claude 3.7’s 95% improvement from the BaseAgent」とのこと。PromptEvolverには「Evolver Agent: Provided with access to game results, evolution history, and tools to search the web, view local files, and edit the Player Agent’s prompt.」が含まれている。
  • プロンプトやコードといった思考能力たるWeight外のself-improveも十分効果的のよう。(ICLが有効と考えれば一定思考能力を改善しているともいえるのか・・・?)

Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills

  • Mirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills [57.7]
    本稿では,知識不足の問題に対処するため,階層型マルチモーダルスキル(HMS)モジュールを提案する。 トラジェクトリを実行スキル、コアスキル、そして最終的にはメタスキルに徐々に抽象化し、長期のタスク計画のための階層的な知識構造を提供する。 ドメインギャップを埋めるために,Skill-Augmented Monte Carlo Tree Search (SA-MCTS)アルゴリズムを提案する。
    論文  参考訳(メタデータ)   (Thu, 12 Jun 2025 06:21:19 GMT)
  • 「Hierarchical Multimodal Skills (HMS) module for long-horizon planning」、「A Skill-Augmented Monte Carlo Tree Search (SA-MCTS) algorithm for knowledge exploration in online settings.」をキーとするcross-platform, plug-and-play GUI agent、Mirage-1の提案
  • プロジェクトサイトはMirage-1: Augmenting and Updating GUI Agent with Hierarchical Multimodal Skills

FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning 

  • FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning [43.7]
    FinChainは、検証可能なChain-of-Thought(CoT)金融推論のための最初のシンボリックベンチマークである。 FinChainはトピック毎に5つのパラメータ化されたテンプレートを提供する。 データセット上で30 LLMをベンチマークすると、最先端モデルでさえ改善の余地がかなりあることが分かります。
    論文  参考訳(メタデータ)   (Tue, 03 Jun 2025 06:44:42 GMT)
  • 金融分野、CoTのベンチマーク。「We also introduce ChainEval, a new metric for automatic evaluation of both final answers and intermediate reasoning. Bench- marking 30 LLMs on our dataset, we find that even state-of-the-art models have consider- able room for improvement in multi-step finan- cial reasoning.」と推論過程を評価するフレームワークも提案。
  • リポジトリはGitHub – mbzuai-nlp/finchain: A symbolic benchmark for verifiable chain-of-thought financial reasoning. Includes executable templates, 54 topics across 12 domains, and ChainEval metrics.

BLUR: A Bi-Level Optimization Approach for LLM Unlearning 

  • BLUR: A Bi-Level Optimization Approach for LLM Unlearning [106.0]
    大規模言語モデル(LLMs)が訓練によって得た知識や能力を上手く忘れさせることは、データ規制の遵守や倫理的なAI使用に不可欠である。従来の忘却と保持の損失を重み付けした手法は性能低下を招きやすいため、著者らは忘却を優先させた階層的アプローチを提案し、新しいアルゴリズム「Bi-Level UnleaRning(BLUR)」を開発した。この手法は理論的保証を持ちながら、様々な課題において他の最先端アルゴリズムを上回る性能を示している。
    論文  参考訳(メタデータ)   (Mon, 09 Jun 2025 19:23:05 GMT)
  • 「Should we aim to forget and retain simultaneously? In many cases, the answer is no.」、「Instead of treating unlearning as a binary process of simply forgetting specific information while retaining the rest, we argue that we should prioritize and structure these tasks hierarchically.」を軸とした新たなunlearning手法の提案。
  • リポジトリはGitHub – OptimAI-Lab/BLURLLMUnlearning

Domain2Vec: Vectorizing Datasets to Find the Optimal Data Mixture without Training 

  • Domain2Vec: Vectorizing Datasets to Find the Optimal Data Mixture without Training [53.1]
    DOMAIN2VECは、データセットを複数のメタドメインの線形結合に分解する新しいアプローチです。この手法は、ドメインベクターを生成し、トレーニングなしでデータミクスチャーの最適化を可能にします。実験では、この方法が計算コストを抑えながら、下流タスクのパフォーマンスを平均2.83%向上させることが示されています。
    論文  参考訳(メタデータ)   (Thu, 12 Jun 2025 17:53:51 GMT)
  • 色々な動きがあって興味深い2vec系の報告
  • 「DOMAIN2VEC seamlessly integrates with existing methods, greatly improving their efficiency and scalability by establishing a direct relationship between model performance and domain vectors, without requiring retraining when training datasets change. Our experimental results demonstrate that both DOMAIN2VEC+DA2 and DOMAIN2VEC+RegMix achieve comparable text generation and downstream task performance with reduced computational overhead com- pared to existing approaches.」

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation 

  • SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation [46.5]
    SVGeniusは3つのプログレッシブディメンション(理解、編集、生成)にわたる2,377のクエリからなる総合ベンチマークである。 SVGeniusは、システマティックな複雑性層を持つ24のアプリケーションドメインの実際のデータに基づいて、8つのタスクカテゴリと18のメトリクスでモデルを評価する。
    論文  参考訳(メタデータ)   (Tue, 03 Jun 2025 17:58:57 GMT)
  • SVGを対象としたベンチマーク、「Evaluation of 22 models reveals that while proprietary models outperform open-source counterparts, all models degrade with increasing complexity, and reasoning- enhanced training proves more effective than pure scaling.」とのこと。
  • リポジトリはSVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation