月: 2025年7月

Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs 

  • Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.1]
    Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
    論文  参考訳（メタデータ）   (Wed, 16 Jul 2025 15:44:18 GMT)
  • RAGに関するサーベイ。
  • 論文リストなどはGitHub – DavidZWZ/Awesome-RAG-Reasoning: [Up-to-date] Awesome RAG Reasoning Resources

PPJudge: Towards Human-Aligned Assessment of Artistic Painting Process 

  • PPJudge: Towards Human-Aligned Assessment of Artistic Painting Process [15.4]
    本研究では,絵画プロセスの人為的アセスメントのための新しい枠組みを提案する。 具体的には、実画像と合成画像からなる最初の大規模データセットであるペイントプロセスアセスメントデータセット(PPAD)を紹介する。 また、時間的に認識された位置符号化を付加したトランスフォーマーベースモデルPPJudgeを提案する。
    論文  参考訳（メタデータ）   (Sat, 12 Jul 2025 10:30:44 GMT)
  • 「we introduce a dataset specifically designed for painting process assessment: the Painting Process Assessment Dataset (PPAD). It consists of approximately 15,000 real paintings and 10,000 synthetic paintings, each annotated by domain experts.」というデータセットと対応するモデルの提案。

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers

  • Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers [22.8]
    本稿では,科学文献におけるスキーマ図の解釈能力を評価するための最初のベンチマークであるMIS-QAを紹介する。 MISS-QAは465以上の科学論文に1500の専門家が注釈を付けた例で構成されている。 我々は、o4-mini、Gemini-2.5-Flash、Qwen2.5-VLを含む18のフロンティアマルチモーダル基盤モデルの性能を評価する。
    論文  参考訳（メタデータ）   (Mon, 14 Jul 2025 20:35:25 GMT)
  • 「We present MISS-QA, the first benchmark specifically designed to assess the ability of foundation models to comprehend schematic diagrams in scientific literature.」ということで、概念図等を理解するためのベンチマークの提案。o4-miniの性能が高めだが、人間との差は大きい。
  • データはyale-nlp/MISS-QA · Datasets at Hugging Face、リポジトリはGitHub – yilunzhao/MISS-QA

On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization

  • On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [55.0]
    大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。 コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
    論文  参考訳（メタデータ）   (Tue, 22 Jul 2025 13:40:26 GMT)
  • コードの評価を対象としたLLM as a judgeの検証
  • 「Our findings show that “small” LLMs struggle in judging tasks, with GPT-4-turbo being the model that achieves the best results. Still, even GPT-4-turbo frequently fails in assessing code correctness, while being a reliable judge of code summary quality.」とのこと。より新しいモデルでの結果が気になる。

The Impact of Language Mixing on Bilingual LLM Reasoning

  • The Impact of Language Mixing on Bilingual LLM Reasoning [4.5]
    中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて検討する。 単言語復号を強制すると 数学推論タスクの精度は 5.6 ポイント低下する 潜在的な言語スイッチが、推論に害を与えるかどうかを予測するために、軽量なプローブをトレーニングすることができる。
    論文  参考訳（メタデータ）   (Mon, 21 Jul 2025 17:56:09 GMT)
  • LRMでよく見る推論過程で様々な言語が混じる問題について、「Discouraging this behavior in DeepSeek-R1 was found to degrade accuracy, suggesting that language mixing may benefit reasoning.」とのこと。また、「Altogether, these results suggest that language mixing is not a random artifact of multilingual training but a deliberate strategy that LLMs adopt to improve complex reasoning.」という記載もある。

Pixels, Patterns, but No Poetry: To See The World like Humans 

  • Pixels, Patterns, but No Poetry: To See The World like Humans [33.8]
    最先端のMLLMは、人間にとって簡単な私たちの知覚上のタスクに破滅的な失敗を示します。 この論文は、推論から知覚へと焦点を移す。
    論文  参考訳（メタデータ）   (Mon, 21 Jul 2025 21:50:16 GMT)
  • 人間だと直感的に理解可能な Turing Eye Test (TET)の提案。「Through four diagnostic tasks involving concealed text, 3D Captchas, Chinese character compositions, and color blind test charts, we demonstrated that state-of-the-art MLLMs exhibit catastrophic failures on perceptual tasks that humans solve intuitively.」とAIにはとけないものが多い。創作漢字コンテストの漢字を理解できるか興味深いところ（leakが怖いが…）。
  • プロジェクトサイトはPixels, Patterns, but no Poetry: To See the World like Humans

Diffusion Beats Autoregressive in Data-Constrained Settings 

  • Diffusion Beats Autoregressive in Data-Constrained Settings [46.1]
    自己回帰(AR)モデルは長い間、大きな言語モデルのランドスケープを支配してきた。 近年,ARモデルよりもアドバンテージが低いものの,拡散型言語モデルが将来性のある選択肢として浮上している。
    論文  参考訳（メタデータ）   (Mon, 21 Jul 2025 17:59:57 GMT)
  • 「In this paper, we systematically study masked diffusion models in data-constrained settings—where training involves repeated passes over limited data—and find that they significantly outperform AR models when compute is abundant but data is scarce. Diffusion models make better use of repeated data, achieving lower validation loss and superior down- stream performance.」という指摘。直観的にもそうだろうと思う。
  • リポジトリはDiffusion Beats Autoregressive in Data-Constrained Settings

Docopilot: Improving Multimodal Models for Document-Level Understanding 

  • Docopilot: Improving Multimodal Models for Document-Level Understanding [87.6]
    マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
    論文  参考訳（メタデータ）   (Sat, 19 Jul 2025 16:03:34 GMT)
  • 大規模なマルチモーダルDocumentUnderstanding用データの構築とInternVL2ベースのモデル構築。「The proposed Docopilot-8B shows a notable improvement over baseline models [73], achieving a +19.9% accuracy gain compared to InternVL2-8B and surpassing InternVL2-26B with less than 31% of the inference latency. Additionally, Docopilot-2B uses fewer parameters (less than 10%) while exhibiting comparable performance to the 10× larger InternVL2-26B.」と性能向上。
  • リポジトリはOpenGVLab/Docopilot: [CVPR 2025] Docopilot: Improving Multimodal Models for Document-Level Understanding

A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

  • A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends [11.4]
    Visually-Rich Document Understanding (VRDU)は、複雑なビジュアル、テキスト、レイアウト情報を含む文書を自動的に処理する必要があるため、重要な分野として登場した。 この調査はMLLMベースのVRDUの最近の進歩をレビューし、3つのコアコンポーネントを強調した。
    論文  参考訳（メタデータ）   (Mon, 14 Jul 2025 02:10:31 GMT)
  • 図やレイアウトの取り扱いを含むDocument Understandingのサーベイ

Qwen3-Coder, Intern-S1, Step-Audio2, TeleChat2

Claude 4 sonnetレベルのQwen3 Coder（QwenLM/Qwen3-Coder: Qwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team, Alibaba Cloud.）、235B MoE language model (Qwen3) ＋ 6B Vision encoder (InternViT)で強力なマルチモーダルLRM Intern S1（InternLM/Intern-S1）、Kimi K2のテクニカルレポート公開（Kimi-K2/tech_report.pdf at main · MoonshotAI/Kimi-K2）、と中国のモデルに関する話題が多かった。Qwen3-Instruct-2507（QwenLM/Qwen3: Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.）でKIMI K2越えが主張されたりと競争が激しい。

音声関連でもStepFunからStep-Audio 2 Technical Report、TeleAIからTECHNICAL REPORT OF TELECHAT2, TELECHAT2.5 AND T1が公開されている。いずれも優れた性能を主張。加えてGR-3のようなロボット関連の論文にも興味津々。

そして、もう間もなく、GPT-5が発表されるはずで、進化は続きそう。

  • GR-3 Technical Report [21.9]
    GR-3は、大規模な視覚言語アクション(VLA)モデルである。 抽象概念を含む新しいオブジェクト、環境、命令を一般化する際、例外的な能力を示す。 GR-3は、両手動操作や移動動作を必要とするタスクを含む、長い水平および外接なタスクの処理に長けている。
    論文  参考訳（メタデータ）   (Mon, 21 Jul 2025 10:54:13 GMT)
  • プロジェクトサイトはByteDance Seed
  • Apple Intelligence Foundation Language Models: Tech Report 2025 [246.0]
    AppleのデバイスやサービスにまたがってAppleのインテリジェンス機能を駆動する2つの基礎言語モデルを紹介します。 どちらのモデルも、責任あるWebクローリングを通じてソースされる大規模なマルチリンガルデータセットとマルチモーダルデータセットに基づいてトレーニングされている。 新しいSwift中心のFoundation Modelsフレームワークでは、ガイド付き生成、制約付きツール呼び出し、LoRAアダプタの微調整が公開されている。
    論文  参考訳（メタデータ）   (Thu, 17 Jul 2025 23:37:19 GMT)
  • Apple IntelligenceのテクニカルレポートがarXivに公開されていた。
  • 「We found that AFM on-device model performs better than Qwen-2.5-3B, Gemma-3-4B and Gemma-3n-E4B on MMLU/MMMLU, but it lags slightly behind Gemma-3n-E4B on MGSM. AFM on-device model performs lower than the larger Qwen-3-4B model. AFM server models lag slightly to LLaMA 4 Scout, whose total size and active number of parameters are comparable, but has a bigger gap to larger models such as Qwen-3-235B and the proprietary GPT-4o.」と評価している。