- Two are better than one: Context window extension with multi-grained self-injection [111.1]
SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
論文 参考訳（メタデータ） (Fri, 25 Oct 2024 06:08:59 GMT) - 2つのLLMを組み合わせ１つ目をコンテキスト圧縮、２つ目をデコーダーとしてつかうSharedLLMの提案。普通のencoder-decoder modelではなく、階層的な構造を持っているのが特徴。
- リポジトリはGitHub – Clement25/SharedLLM: Official Implementation of the paper: “Two are better than one: Context window extension with multi-grained self-injection”