タグ: Chain of Thought

When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought

  • When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.7]
    MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
    論文  参考訳（メタデータ）   (Tue, 04 Nov 2025 18:00:51 GMT)
  • 「To bridge this gap, we introduce MIRA (Multimodal Imagination for Reasoning Assessment), a benchmark designed to evaluate reasoning scenarios where generating or leveraging intermediate visual representations is essential. Each instance is constructed according to three principles: (1) requiring intermediate visual cues to answer the question, (2) pairing each instance with annotated step-wise visual clues to enable evaluation under a Visual-CoT setup, and (3) enforcing strict human annotation and cross-validation to guarantee data quality.」と視覚的・画像的な中間表現を必要とする推論のためのベンチマークの提案。フロンティアモデルでも難しいタスクになっている（が、公開モデルも健闘しているように見える）
  • プロジェクトサイトはWhen Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought

Thought Branches: Interpreting LLM Reasoning Requires Resampling 

  • Thought Branches: Interpreting LLM Reasoning Requires Resampling [11.0]
    一つのサンプルを研究することは因果的影響と基礎となる計算を理解するのに不十分であると主張する。 モデル決定のための再サンプリングを用いたケーススタディを提案する。
    論文  参考訳（メタデータ）   (Fri, 31 Oct 2025 14:02:37 GMT)
  • 「we can measure a partial CoT’s impact by resampling only the subsequent text. We present case studies using resampling to investigate model decisions. First, when a model states a reason for its action, does that reason actually cause the action?」と、CoTへの介入とその影響に関する報告。先行研究を含めて面白い動作分析。この報告では「We address this by repeatedly resampling to remove sentences and by measuring resilience, the number of interventions required to erase a sentence’s content from a trace. 」などCoTの過程の分布にも注目し計算コストは高いが納得性の高い手法を用いている。

Thinking with Video, V-Thinker

推論時にマルチモーダルなデータを活用する研究が進んでいる。

  • V-Thinker: Interactive Thinking with Images [22.6]
    視覚中心推論の最近の進歩は、大型マルチモーダルモデル(LMM)のための有望な「シンキング・ウィズ・イメージ」パラダイムを探求している エンド・ツー・エンドの強化学習を通じてインタラクティブな視覚中心の思考を可能にする汎用マルチモーダル推論アシスタントであるV-Thinkerを提案する。 V-Thinkerは、一般的な推論シナリオと対話的な推論シナリオの両方において、強力なLMMベースのベースラインを一貫して上回る。
    論文  参考訳（メタデータ）   (Thu, 06 Nov 2025 15:32:29 GMT)
  • 「we introduce V-Thinker, a general-purpose multimodal reasoning assistant that fosters interactive vision-centric thinking via end-to-end reinforcement training.」と視覚を活用した思考を行うアシスタントの提案。
  • リポジトリはGitHub – We-Math/V-Thinker

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models 

  • SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models [158.2]
    現在の大規模言語モデル (LLM) と音声言語モデル (SLM) は、ユーザがターンを終えた後にのみ、思考と行動を取る。 これにより、モデルがユーザのターン中に対話するのを防ぎ、考えるのを待つ間、レスポンスのレイテンシが高くなります。 SHANKSは,ユーザ入力を聴きながら,無意味な連鎖推論をSLMが生成できるフレームワークである。
    論文  参考訳（メタデータ）   (Wed, 08 Oct 2025 11:48:59 GMT)
  • 「a general framework for SLMs that enables thinking while listening. To the best of our knowledge, we are the first to explore generating unspoken CoT reasoning when the user is still speaking.」とユーザ入力を受けながら同時に考えるフレームワークの提案。同時通訳のみならず応用領域が広そう。
  • リポジトリはSHANKS (シャンクス)

A Survey on Latent Reasoning 

  • A Survey on Latent Reasoning [100.5]
    大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
    論文  参考訳（メタデータ）   (Tue, 08 Jul 2025 17:29:07 GMT)
  • Latent CoT （Unlike traditional CoT reasoning that generates explicit textual intermediate steps, latent CoT methods perform reasoning through continuous representations and hidden states within the model’s computational graph.）など推論過程を表に出すことなく潜在空間で行うタイプの手法に関するサーベイ。
  • プロジェクトサイトはGitHub – multimodal-art-projection/LatentCoT-Horizon: 📖 This is a repository for organizing papers, codes, and other resources related to Latent Reasoning.

Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety 

  • Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.8]
    CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。 我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。 CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
    論文  参考訳（メタデータ）   (Tue, 15 Jul 2025 16:43:41 GMT)
  • CoT監視可能性に関する検討。できそうに思いつつCoTの実際の例を見ると結構難しそうにも思える。

FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning 

  • FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning [43.7]
    FinChainは、検証可能なChain-of-Thought(CoT)金融推論のための最初のシンボリックベンチマークである。 FinChainはトピック毎に5つのパラメータ化されたテンプレートを提供する。 データセット上で30 LLMをベンチマークすると、最先端モデルでさえ改善の余地がかなりあることが分かります。
    論文  参考訳（メタデータ）   (Tue, 03 Jun 2025 06:44:42 GMT)
  • 金融分野、CoTのベンチマーク。「We also introduce ChainEval, a new metric for automatic evaluation of both final answers and intermediate reasoning. Bench- marking 30 LLMs on our dataset, we find that even state-of-the-art models have consider- able room for improvement in multi-step finan- cial reasoning.」と推論過程を評価するフレームワークも提案。
  • リポジトリはGitHub – mbzuai-nlp/finchain: A symbolic benchmark for verifiable chain-of-thought financial reasoning. Includes executable templates, 54 topics across 12 domains, and ChainEval metrics.

A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond

Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models 

  • Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models [11.3]
    ロングチェーン・オブ・ソート(Long CoT)特性は推論能力を高め、複雑な問題の解決を可能にする。 まず、Long CoTとShort CoTを区別し、現在の推論パラダイムを分類する新しい分類法を導入する。 次に,Long CoTの出現やオーバー思考,テストタイムスケーリングなど,これらの特徴について考察する。
    論文  参考訳（メタデータ）   (Wed, 12 Mar 2025 17:35:03 GMT)
  • LRMでキーとなっているLong Chain of thoughtのサーベイ。「We first distinguish Long CoT from Short CoT and introduce a novel taxonomy to categorize current reasoning paradigms.」と（通常の）Short CoTと Long CoTを分けている。
  • リポジトリはTowards Reasoning Era: A Survey of Long Chain-of-Thought

START: Self-taught Reasoner with Tools 

  • START: Self-taught Reasoner with Tools [51.4]
    ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
    論文  参考訳（メタデータ）   (Thu, 06 Mar 2025 17:11:51 GMT)
  • ツール統合型のCoTを行うSTART (Self-Taught Reasoner with Tools)の提案、「Hint-infer: code/math data is processed by QwQ, with responses truncated at predefined terminators. Context-aware hints from a Hint-Library are injected at truncation points (including endpoints), and QwQ resumes inference using a code interpreter for Python execution feedback.」と「b) Hint-RFT: Hint-infer outputs undergo rule-based scoring, filtering, and content modification to create Dseed .」の２つがキーポイント。ルール・テンプレートをうまく統合していっている印象で、この手の工夫は色々あり得そう。