コンテンツへスキップ
- Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.1]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文 参考訳（メタデータ） (Mon, 18 Nov 2024 16:15:17 GMT)
- o1-like reasoning systemsを実現するための検討、「In this paper, we present a preliminary exploration into enhancing the reasoning abilities of LLMs through reward-guided tree search algorithms.」とのこと。Marco-o1の報告、DeepSeek-R1の主張（A Chinese lab has released a ‘reasoning’ AI model to rival OpenAI’s o1 | TechCrunch）を含め、速攻で近いものの提案が始まる激しい競争環境。マルチモーダルでの有効性も報告（下記）されていて今後が楽しみ。
- サーベイに近いかと思いきや実験結果などもあり参考になる。
- Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions [40.2]
Marco-o1は数学、物理学、コーディングなどの標準解を持つ分野に焦点を当てている。 o1モデルは、明確な標準が欠如し、報酬が定量化が難しい広い領域に効果的に一般化しますか? Marco-o1は、Chain-of-Thoughtファインチューニング、Monte Carlo Tree Search (MCTS)、リフレクションメカニズム、革新的な推論戦略によって実現されている。
論文 参考訳（メタデータ） (Thu, 21 Nov 2024 18:37:33 GMT)
- 「Our Marco-o1 enhances the reasoning ability by integrating Chain-of-Thought (CoT) fine-tuning, Monte Carlo Tree Search (MCTS), and novel reasoning action strategies.」というo1ライクなモデル構築に関する報告。
- Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective [77.9]
OpenAIは、o1の背後にある主要な技術は強化学習であると主張している。 本稿では、強化学習の観点から、o1を達成するためのロードマップを分析する。
論文 参考訳（メタデータ） (Wed, 18 Dec 2024 18:24:47 GMT)
- 「In this paper, we present a roadmap for reproducing o1 from the perspective of reinforcement learning, emphasizing key components such as policy initialization, reward design, search, and learning.」という論文も。