- Recursive Language Models [14.2]
本稿では,長いプロンプトを外部環境として扱う一般的な推論手法であるRecursive Language Models (RLMs)を提案する。 RLMはモデルウィンドウを超える2桁の処理に成功し、たとえ短いプロンプトであっても、ベースLLMの品質を劇的に上回っていることがわかった。
論文 参考訳（メタデータ） (Wed, 31 Dec 2025 03:43:41 GMT) - 「We introduced Recursive Language Models (RLMs), a general inference framework for language models that offloads the input context and enables language models to recursively sub-query lan- guage models before providing an output. We explored an instantiation of this framework that offloads the context into a Python REPL environment as a variable in memory, enabling the LM to reason over its context in code and recursive LM calls, rather than purely in token space.」と外部メモリ的にPython実行環境を使うアプローチの提案。
- 著者のBlog（Recursive Language Models | Alex L. Zhang）やXの投稿（XユーザーのAlex L Zhangさん: 「What if scaling the context windows of frontier LLMs is much easier than it sounds? We’re excited to share our work on Recursive Language Models (RLMs). A new inference strategy where LLMs can decompose and recursively interact with input prompts of seemingly unbounded length, https://t.co/U0tGWmPybl」 / X）も参考になる。