タグ: GUI agent

OpenAI GPT Image-1.5, Gemini 3.0 Flash, Nemotron 3, Xiaomi MiMo-V2-Flash, Olmo 3(論文）, Bolmo, LLaDA2.0, Step-GUI, Seedance 1.5 pro, Kling-Omni

OpenAIとGoogleの競争は激しく、OpenAIからはNanoBananaに対抗すると見込まれるGPT Image-1.5が発表された（GPT Image 1.5 Model | OpenAI API）。Googleからはコスパに優れるGemini 3.0 Flash（Introducing Gemini 3 Flash: Benchmarks, global availability）が出ている。とてもコストが安いが一部ベンチマークではProを超えているようにも見え、コスパが高い。

オープン系のモデルでも、Nemotron 3（NVIDIA Nemotron 3 Family of Models – NVIDIA Nemotron）、Xiaomi MiMo-V2-Flash（Xiaomi MiMo、XユーザーのXiaomiMiMoさん: 「⚡ Faster than Fast. Designed for Agentic AI. Introducing Xiaomi MiMo-V2-Flash — our new open-source MoE model: 309B total params, 15B active. Blazing speed meets frontier performance. 🔥 Highlights: 🏗️ Hybrid Attention: 5:1 interleaved 128-window SWA + Global | 256K context 📈 https://t.co/yCqP4L8bU4」 / X）、Step-GUI（GELab-Zero – GUI Agent for Mobile Devices）など注目すべき発表があった。Ai2からはOlmo3に関する論文が出ているほか、byte-level language modelという興味深いモデルも発表されている。新たなモデルという観点は規模の大きなDiffusion Language Models、LLaDA2.0にも要注目である。

動画関連でもSeedance 1.5 proや Kling-Omniのテクニカルレポートが発表されている。

  • Step-GUI Technical Report [83.9]
    本稿では,Calibrated Step Reward Systemを利用した自己進化型トレーニングパイプラインを提案する。 また、最先端のGUI性能を実現するモデル群であるStep-GUIについても紹介する。 エージェントが日常的に使えるかどうかを評価するために,AndroidDailyを紹介した。
    論文  参考訳（メタデータ）   (Wed, 17 Dec 2025 13:26:30 GMT)
  • 「we introduce a self-evolving training pipeline centered on the Calibrated Step Reward System (CSRS).」、「The system consists of a Calibration Layer that performs trajectory-level validation (success/failure) and a Data Extraction module powered by thinking models that generates seven categories of structured training data. Model-generated trajectories flow through CSRS in an iterative loop: rollout generates trajectories, CSRS processes them into high-quality training data, and training produces stronger models for the next iteration.」と凝ったパイプライン。7つのカテゴリのデータとは「(1) progress tracking, (2) state summary, (3) effect prediction, (4) self-reflection, (5) state verification, (6) intent execution, and (7) action prediction」を指す。
  • リポジトリはGitHub – stepfun-ai/gelab-zero: GELab: GUI Exploration Lab. One of the best GUI agent solutions in the galaxy, built by the StepFun-GELab team and powered by Step’s research capabilities.
  • Olmo 3 [195.4]
    Olmo 3は、7Bおよび32Bパラメータスケールの最先端で完全にオープンな言語モデルのファミリーである。 私たちのフラッグシップモデルであるOlmo 3 Think 32Bは、これまでリリースされた中で最強の完全オープンな思考モデルです。
    論文  参考訳（メタデータ）   (Mon, 15 Dec 2025 23:41:48 GMT)
  • Olmo3の論文。論文を出すのが間に合っていないくらい進展が速い・・・
  • データやトレーニングログなど、モデルだけでなく様々な部分が公開されている。
  • Bolmo: Byteifying the Next Generation of Language Models [115.3]
    競合する完全オープンなバイトレベル言語モデル(LM)の最初のファミリーであるBolmoを紹介します。 バイト化はサブワードトークン化の限界を克服する。 我々はBolmoがサブワードレベルのLMと競合する推論速度を実現できることを示す。
    論文  参考訳（メタデータ）   (Wed, 17 Dec 2025 16:46:11 GMT)
  • バイトレベルの言語モデル。相応の規模で検証したのがすごい。
  • リポジトリはGitHub – allenai/bolmo-core: Code for Bolmo: Byteifying the Next Generation of Language Models
  • LLaDA2.0: Scaling Up Diffusion Language Models to 100B [96.8]
    LLaDA2.0 – 離散拡散大言語モデル(dLLM)を100億の総パラメータにスケールアップする。 LLaDA2.0は知識継承、進歩的適応、効率性に配慮した設計原則を支持している。 LLaDA2.0-mini (16B) と LLaDA2.0-flash (100B) の2つの命令調整型Mixture-of-Experts (MoE) が実用的展開に最適化されている。
    論文  参考訳（メタデータ）   (Wed, 10 Dec 2025 09:26:18 GMT)
  • ARから変換していくアプローチによるDiffusion Language Modelの構築。「Through extensive evaluations, it validates the feasibility of the training paradigm. The LLaDA2.0-mini and LLaDA2.0-flash models achieve performances that are competitive with their AR counterparts. Slightly surprisingly, LLaDA2.0-flash seems to have demonstrated advantages in complex, structured domains such as code generation, mathematical reasoning, and agentic tool use. These may have opened a new door to future work in the agentic LLM era while solidifying a gaugeable potential of dLLM for test-time scaling.」と効果および利点を報告している。
  • リポジトリはLLaDA 2.0 – a inclusionAI Collection
  • Seedance 1.5 pro: A Native Audio-Visual Joint Generation Foundation Model [144.6]
    Seedance 1.5 Proは、ネイティブのジョイントオーディオビデオ生成用に特別に設計された基礎モデルである。 Seedance 1.5 Proは、正確な多言語と方言のリップシンク、ダイナミックシネマカメラコントロール、物語のコヒーレンスの向上を通じて、自分自身を区別する。
    論文  参考訳（メタデータ）   (Mon, 15 Dec 2025 16:36:52 GMT)
  •  「we present Seedance 1.5 pro, a foundational model engineered specifically for native, joint audio-video generation.」
  • リポジトリはSeedance 1.5 pro
  • Kling-Omni Technical Report [80.6]
    Kling-Omniはマルチモーダルな視覚言語入力から直接高忠実度動画を合成するための生成フレームワークである。 Kling-Omniは、多様なビデオ生成、編集、インテリジェントな推論タスク間の機能的分離を橋渡しする。 テキスト命令、参照画像、ビデオコンテキストを含む多様なユーザ入力をサポートし、それらを統一されたマルチモーダル表現に処理する。
    論文  参考訳（メタデータ）   (Thu, 18 Dec 2025 17:08:12 GMT)
  • Kling AI: Next-Gen AI Video & AI Image Generator

Computer-Use Agents as Judges for Generative User Interface

  • Computer-Use Agents as Judges for Generative User Interface [142.8]
    ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。 ほとんどのGUIは、人間が効率的にタスクを実行する人間指向の動作を採用するために設計されている。 CUA は Coder でGUI の自動設計を支援することができるだろうか?
    論文  参考訳（メタデータ）   (Wed, 19 Nov 2025 16:00:02 GMT)
  • 「By positioning agents as both designers and judges, our framework shifts interface design toward agent-native efficiency and reliability. Our work takes a step toward shifting agents from passive use toward active participation in digital environments.」とエージェント時代のUIを考えるフレームワークをの提案。
  • 対エージェントが対個人になっても良いわけで興味深い発想。
  • プロジェクトサイトはComputer-Use Agents as Judges for Generative User Interface、リポジトリはGitHub – showlab/AUI: Computer-Use Agents as Judges for Generative UI

Adapting Web Agents with Synthetic Supervision 

  • Adapting Web Agents with Synthetic Supervision [80.9]
    Webエージェントは、環境固有のタスクやデモが不足しているため、新しいWebサイトへの適応に苦慮している。 最近の研究は、この課題に対処するために合成データ生成を探求している。 完全合成監視フレームワークであるSynthAgentを提案する。
    論文  参考訳（メタデータ）   (Sat, 08 Nov 2025 18:45:33 GMT)
  • WEBエージェントを新たなサイトへ対応させるための合成データを活用するアプローチ。「(1) Task Synthesis with Categorized Exploration, which synthesizes diverse, environment specific tasks through categorized exploration. (2) Task Refinement during Trajectory Collection, which collects trajectories while refining task descriptions based on new observations to mitigate potential hallucinations. (3) Trajectory Refinement, which further improves collected trajectories using global context to edit noisy actions. (4) Agent Fine-tuning, which adapts the web agent to new environments under fully synthetic supervision.」という4ステップ構成。
  • リポジトリはGitHub – aiming-lab/SynthAgent

ChatGPT Atlas, Ring-1T, DeepSeek OCR, olmOCR 2

先週はChatGPT Atlas（ChatGPT Atlas）の話題が多かった。GUI Agent（より正確にはブラウザエージェント）のように人が操作しているようにUIを使うエージェントには期待大。

Ring-1TはAnt groupによるLRM、1TパラメータのMoE構成で性能も高い。

また、DeepSeek OCRもバズっていた。OCR性能というよりもコンテキストとして画像データを使う有効性が興味深い。OCRとしてはOlmoOCRのv2も出ていてOSSの動きも盛ん。

  • DeepSeek-OCR: Contexts Optical Compression [15.6]
    我々は,DeepSeek-OCRを,光学的2次元マッピングによる長期コンテキストの圧縮の実現可能性に関する最初の調査として紹介する。 DeepSeek-OCRはDeepEncoderとDeepSeek3B-MoE-A570Mの2つのコンポーネントで構成されている。 実験により、テキストトークンの数がビジョントークンの10倍以内であれば、モデルがデコード(OCR)精度を97%達成できることが示された。
    論文  参考訳（メタデータ）   (Tue, 21 Oct 2025 02:41:44 GMT)
  • ドキュメントの画像をコンテキストとした扱う構成のLLM、「In this technical report, we propose DeepSeek-OCR and preliminarily validate the feasibility of contexts optical compression through this model, demonstrating that the model can effectively decode text tokens exceeding 10 times the quantity from a small number of vision tokens. We believe this finding will facilitate the development of VLMs and LLMs in the future.」と効率的なよう。
  • リポジトリはGitHub – deepseek-ai/DeepSeek-OCR: Contexts Optical Compression
  • olmOCR 2: Unit Test Rewards for Document OCR [29.5]
    olmOCR 2は、PDFのようなデジタル化された印刷文書を、クリーンで自然に順序付けられたプレーンテキストに変換する強力なOCRシステム群の最新版です。 olmOCR 2は、強化学習を用いて訓練された7B視覚言語モデル(VLM)であるolmOCR-2-7B-1025で駆動される。 これらのテストケースに対するRLトレーニングは、我々の英語OCRベンチマークであるolmOCR-Benchにおける最先端のパフォーマンスをもたらすことを示す。
    論文  参考訳（メタデータ）   (Wed, 22 Oct 2025 17:53:02 GMT)
  • こちらはOCR、olmOCRのバージョン2。「To scale unit test creation, we develop a pipeline for generating synthetic documents with diverse and challenging layouts, known ground-truth HTML source code, and extracted test cases.」と合成データを活用するアプローチ。
  • リポジトリはGitHub – allenai/olmocr: Toolkit for linearizing PDFs for LLM datasets/training

LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training

  • LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training [55.7]
    構造化されたUI状態と遷移を生成するスケーラブルなパラダイムを導入し、大規模にトレーニングトラジェクトリを合成する。 このパラダイムは、多様なUI状態のためのデジタルワールドシミュレータ、コヒーレント探索のためのガイド付きロールアウトプロセス、軌道ラッパーを統合している。 WebArenaとAndroidWorldの実験では、UI-Simulatorは実際のUIでトレーニングされたオープンソースエージェントと競合するか、あるいは超越している。
    論文  参考訳（メタデータ）   (Thu, 16 Oct 2025 17:59:38 GMT)
  • 「We introduced UI-Simulator, a scalable trajectory synthesis paradigm that uses LLM-based digital world simulators to synthesize diverse UI trajectories at scale through multi-step simulation, guided rollouts, and final trajectory wrapping.」とGUIエージェント構築に活用できるデータ合成フレームワークの提案。
  • リポジトリはGitHub – WadeYin9712/UI-Simulator: Code for 🌍 UI-Simulator: LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training

WALT: Web Agents that Learn Tools 

  • WALT: Web Agents that Learn Tools [66.7]
    WALTは、Webサイト機能を再利用不能なツールにリバースエンジニアリングするフレームワークである。 WALTはアドホックなスキルを仮説化するのではなく、既にウェブサイトに設計されている自動化の堅牢な実装を公開している。 VisualWebArenaとWebArenaでは、WALTはより少ないステップとLLM依存の推論でより高い成功を達成している。
    論文  参考訳（メタデータ）   (Wed, 01 Oct 2025 23:41:47 GMT)
  • 「instead of reasoning about how to click and type, agents simply call search(query) or create(listing). This shifts the computational burden from fragile step- by-step reasoning to reliable tool invocation.」というアプローチによるWEBエージェントの構築。
  • この手のエージェントが流行るとWEBサイトのあり方も変わっていくように思う。

D-Artemis: A Deliberative Cognitive Framework for Mobile GUI Multi-Agents

  • D-Artemis: A Deliberative Cognitive Framework for Mobile GUI Multi-Agents [22.3]
    D-ArtemisはGUIエージェントのための新しい検討フレームワークである。 D-Artemisは、詳細なアプリ固有のチップ検索メカニズムを使用して、意思決定プロセスに通知する。 また、TACチェックモジュールとACA(Action Correction Agent)が協調して動作し、実行障害のリスクを軽減している。 実行後状態反映エージェント(SRA)は認知ループを完了し、経験から戦略的学習を可能にする。
    論文  参考訳（メタデータ）   (Fri, 26 Sep 2025 02:56:19 GMT)
  • 「(a) The manager agent is guided by two input modalities: textual (task, tips, working memory) and visual (screenshot only). (b) Pre-execution, TAC Check module verifies thought-action consistency. (c) A low consistency score triggers the Action Correction Agent (ACA) to analyze the error type and rectify the action. (d) Post-execution, the Status Reflection Agent (SRA) assesses the action effectiveness and the environmental state to produce guidance for the next step. Upon completion of each step, the working memory is updated.」と非常に凝ったマルチエージェント構成をとるGUI Agent。同一バックボーンを持つアプローチに対して優位性を主張。

PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents

  • PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents [151.9]
    PAL-UI (Planning with Active Look-back) を提案する。 PAL-UIは、二重レベルの要約エージェントを組み合わせ、観察レベルの手がかりとアクションレベルの結果の両方を、専用の検索ツールと組み合わせる。
    論文  参考訳（メタデータ）   (Wed, 01 Oct 2025 01:48:39 GMT)
  • 振り返りに相当するPAL（Planning with Active Look-back）を組み込んだエージェントの提案、「PAL-UI significantly outperforms both base MLLMs and state-of-the-art baselines on mobile navigation benchmarks, while also general- izing well to out-of-domain web environments. These results underscore the importance of active memory retrieval for robust GUI planning. Future work will explore extending PAL-UI to more complex tasks and environments, integrating reinforcement learning objectives, and broadening its applicability to real-world interactive systems.」とのこと。

Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents 

  • Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents [79.8]
    Ferret-UI Liteは、様々なプラットフォームで動作する、コンパクトでエンドツーエンドのGUIエージェントである。 Ferret-UI Liteは、他の小規模GUIエージェントとの競合性能を達成する。
    論文  参考訳（メタデータ）   (Tue, 30 Sep 2025 17:13:56 GMT)
  • AppleによるGUIエージェントの報告、「In this work, we present Ferret-UI Lite, a 3B multimodal LLM designed for GUI agentic tasks with a focus on lightweight, on-device settings. Through real and synthetic data curation, inference-time visual tool use, and a two-stage SFT–RL training strategy, Ferret-UI Lite achieves competitive grounding and navigation performance relative to larger models.」と小型のモデル。

MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents 

  • MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents [15.0]
    本稿ではGUIショートカットハイブリッドエージェントの評価の先駆けとなるベンチマークであるMAS-Benchを紹介する。 11の現実世界アプリケーションに139の複雑なタスク、88のショートカットの知識ベース、RPAスクリプト、そして7つの評価メトリクスがある。 実験の結果、ハイブリッドエージェントはGUIのみのエージェントよりも成功率と効率が著しく高いことがわかった。
    論文  参考訳（メタデータ）   (Mon, 08 Sep 2025 09:43:48 GMT)
  • GUI操作をショートカットする（画面を操作せずにAPIコールするなど）ことも含めたベンチマークの提案。
  • プロジェクトサイトはMAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents