タグ: ベンチマーク

When AI Agents Collude Online: Financial Fraud Risks by Collaborative LLM Agents on Social Platforms

Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark

  • Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark [48.0]
    ビデオ生成モデルは、Chain-of-Frames (CoF)推論を通じて、潜在的な世界シミュレータとして登場した。 既存のベンチマークは、忠実さやアライメントに重点を置いており、CoFの推論を評価していない。 我々は,認知科学と実世界のAI応用を基盤としたフレームワークであるGen-ViReを紹介する。
    論文  参考訳（メタデータ）   (Mon, 17 Nov 2025 19:11:39 GMT)
  • ビデオ生成モデルを通じた因果関係の把握（world modelへの可能性）を評価するベンチマークの提案。「Gen-ViRe evaluates six core cognitive dimensions: (1) Perceptual, (2) Analogical, (3) Abstract, (4) Planning, (5) Spatial & Temporal, and (6) Algorithmic & Logical, with each dimension comprising four different sub-categories.」
  • 「Sora-2 achieves the highest overall score (0.560), establishing the top tier with particularly strong performance in the most cognitively demanding domains: “Abstract Reasoning” (0.604), “Algorithmic & Logical” (0.472), and “Perceptual” (0.496). The second tier comprises three highly competitive models—Hailuo-2.3 (0.493), Wan-2.5 (0.490), and Veo-3.1 (0.486)—each exhibiting distinct specialized strengths. Hailuo-2.3 achieves the highest score in “Planning” (0.778), showcasing exceptional sequential decision-making capabilities, while Wan-2.5 leads in “Analogy” (0.500), excelling at analogical reasoning.」とモデルごとに特性がかなり異なるのが興味深い。
  • リポジトリはhttps://github.com/L-CodingSpace/GVR

WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation 

  • WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation [98.5]
    We present WEAVE, the first suite for in-context interleaved cross-modality comprehension and generation。 WeAVE-100kは、370Kのダイアログターンと500Kイメージにまたがる100Kのインターリーブサンプルの大規模なデータセットである。 WeAVEBenchは480の画像に基づいた100のタスクを備えた人手によるベンチマークである。
    論文  参考訳（メタデータ）   (Fri, 14 Nov 2025 16:02:38 GMT)
  • 「WEAVE- 100k is a large-scale dataset of 100K interleaved samples spanning over 370K dialogue turns and 500K images, covering comprehension, editing, and generation tasks that require reasoning over historical context.」とマルチターンな生成に関するベンチマークの提案、評価方法は「we employ a key-point- based scoring approach using structured evaluation criteria.」
  • （最新版ではないようだが）NanoBananaのスコアがとても高い。
  • プロジェクトサイトはWeave

When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought

  • When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.7]
    MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
    論文  参考訳（メタデータ）   (Tue, 04 Nov 2025 18:00:51 GMT)
  • 「To bridge this gap, we introduce MIRA (Multimodal Imagination for Reasoning Assessment), a benchmark designed to evaluate reasoning scenarios where generating or leveraging intermediate visual representations is essential. Each instance is constructed according to three principles: (1) requiring intermediate visual cues to answer the question, (2) pairing each instance with annotated step-wise visual clues to enable evaluation under a Visual-CoT setup, and (3) enforcing strict human annotation and cross-validation to guarantee data quality.」と視覚的・画像的な中間表現を必要とする推論のためのベンチマークの提案。フロンティアモデルでも難しいタスクになっている（が、公開モデルも健闘しているように見える）
  • プロジェクトサイトはWhen Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought

Global PIQA: Evaluating Physical Commonsense Reasoning Across 100+ Languages and Cultures

  • Global PIQA: Evaluating Physical Commonsense Reasoning Across 100+ Languages and Cultures [118.0]
    我々は100以上の言語を対象とした参加型コモンセンス推論ベンチマークであるGlobal PIQAを提案する。 グローバルPIQAの116の言語変種は、5つの大陸、14の言語族、23の文字体系をカバーしている。 グローバルPIQAの非並列分割では、50%以上の例が地元の食品、習慣、伝統、その他の文化的特有な要素を参照している。
    論文  参考訳（メタデータ）   (Tue, 28 Oct 2025 05:46:25 GMT)
  • 「we have presented Global PIQA, a physical commonsense reasoning benchmark covering 116 language varieties. Unlike previous benchmarks, Global PIQA is a participatory benchmark, constructed by hand by 335 researchers across 65 countries.」とマルチリンガルなベンチマーク。
  • 日本語のデータも入っている。（不穏なデータっぽく見えるものもあり、全体的にチェックしてみようかと思わなくもない）
  • データはmrlbenchmarks/global-piqa-nonparallel · Datasets at Hugging Face、プロジェクトサイトはMRL Benchmarks

ImpossibleBench: Measuring LLMs’ Propensity of Exploiting Test Cases 

  • ImpossibleBench: Measuring LLMs’ Propensity of Exploiting Test Cases [58.4]
    タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
    論文  参考訳（メタデータ）   (Thu, 23 Oct 2025 06:58:32 GMT)
  • 「we introduce ImpossibleBench, a benchmark framework that systematically measures LLM agents’ propensity to exploit test cases.」と不正行為を測るためのベンチマーク。「frontier models frequently cheat when faced with these impossible tasks, and stronger models generally exhibit higher cheating rates.」という指摘が興味深いし感覚にも合う・・・
  • リポジトリはGitHub – safety-research/impossiblebench

ResearchGPT: Benchmarking and Training LLMs for End-to-End Computer Science Research Workflows 

  • ResearchGPT: Benchmarking and Training LLMs for End-to-End Computer Science Research Workflows [109.3]
    CS-54k(CS-54k)は、コンピュータ科学におけるQ&Aペアの高品質なコーパスである。 CS-4kは、科学研究を支援するAIの能力を評価するためのベンチマークである。 CS-50kは大規模なトレーニングデータセットである。
    論文  参考訳（メタデータ）   (Thu, 23 Oct 2025 07:07:35 GMT)
  • 「We introduce CS-4k, the first benchmark that systematically evaluates the end-to-end research workflow in computer science through open-ended scientific question answering, offering a rigorous yardstick to assess LLMs’ ability to assist scientific research.」というベンチマーク。また、これらデータを用いたポストトレーニングの有効性を主張。
  • リポジトリはGitHub – wph6/ResearchGPT: Official repo for ReseachGPT

When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents

  • When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.6]
    Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。 AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。 GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる評価する。
    論文  参考訳（メタデータ）   (Mon, 13 Oct 2025 17:54:09 GMT)
  • トレーニングエージェント評価のための環境
  • プロジェクトサイトはFinAI、

LM Fight Arena: Benchmarking Large Multimodal Models via Game Competition

  • LM Fight Arena: Benchmarking Large Multimodal Models via Game Competition [104.8]
    本稿では,Mortal Kombat IIにおける大規模マルチモーダルモデルを評価する新しいフレームワークであるLM Fight Arenaを紹介する。 静的評価とは異なり、LM Fight Arenaは完全に自動化され、再現可能で、LMMの戦略的推論能力の客観的評価を提供する。
    論文  参考訳（メタデータ）   (Fri, 10 Oct 2025 02:19:21 GMT)
  • 「Unlike static evaluations, LM Fight Arena provides a fully automated, reproducible, and objective assessment of an LMM’s strategic reasoning capabilities in a dynamic setting. This work introduces a challenging and engaging benchmark that bridges the gap between AI evaluation and interactive entertainment.」とのことだが、なぜにMortal Kombat…
  • Claude 3.5 Sonnetがとても強いらしい。

FinDeepResearch: Evaluating Deep Research Agents in Rigorous Financial Analysis

  • FinDeepResearch: Evaluating Deep Research Agents in Rigorous Financial Analysis [110.6]
    HisRubricは階層的な分析構造ときめ細かいグレーディングルーブリックを備えた新しい評価フレームワークである。 FinDeepResearchは、4つの言語にまたがる8つの金融市場から64の上場企業からなるベンチマークである。 6つのDRエージェント、深い推論能力と探索能力を備えた5つのLLM、深い推論能力を持つ5つのLLMを含む16の代表的な手法を用いてFinDeepResearchに関する広範な実験を行った。
    論文  参考訳（メタデータ）   (Wed, 15 Oct 2025 17:21:56 GMT)
  • 金融ドメインのDeepResearchの評価。o3 deepresearchの性能が高い（Grok4やGemini 2.5 Proとは僅差）が「Our experiments suggest that even top-performing DR agents struggle to consistently balance a coherent analytical structure with factual accuracy. This imbalance remains the primary barrier to their deployment in high-stakes applications.」とのこと。。