- O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3]
精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
論文 参考訳（メタデータ） (Wed, 22 Jan 2025 01:35:11 GMT) - Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs – arXiv最新論文の紹介でもあったが、やりすぎなくらいトークンを消費することを防ぐLength Harmonizing Fine-Tuning (O1-Pruner)の提案、最適化の目標について、短いシーケンスを評価するような設計にしているよう。
- リポジトリはGitHub – StarDewXXX/O1-Pruner: Official repository for paper: O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning
タグ: overthinking
Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs
- Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.4]
o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
論文 参考訳（メタデータ） (Mon, 30 Dec 2024 18:55:12 GMT) - 「This paper presents the first comprehensive study on the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit.」とoverthinkingに焦点を当てた興味深い論文。