Lizard: An Efficient Linearization Framework for Large Language Models
Lizard: An Efficient Linearization Framework for Large Language Models [100.6] 我々は,事前学習したトランスフォーマーベース大規模言語モデル(LLM)を,無限コンテキスト生成のための柔軟性のあるサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 Lizardは、出力品質を保ちながらソフトマックスアテンションを正確に近似するサブクワッドアテンションメカニズムを導入することで、この制限に対処する。 そこで本研究では,Lizardが従来の線形化手法を著しく上回りながら,標準言語モデリングタスクにおける教師モデルの性能のほぼ無作為な回復を実現していることを示す。 論文参考訳（メタデータ） (Fri, 11 Jul 2025 21:19:18 GMT)
「Lizard (Linearizing Softmax Attention with Recurrent Gate Dynamics), an efficient framework for linearizing LLMs」の提案。
「We train our model in two stages: (1) an attention approximation stage where the subquadratic modules are trained to mimic softmax attention outputs, and (2) a fine-tuning stage where the linearized model is adapted to downstream language modeling objectives.」と既存モデルを活用していくアプローチで拡張に使用する学習データが少なく、性能劣化も抑えられるとのこと。