- Augmenting Language Models with Long-Term Memory [142.0]
既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
論文 参考訳（メタデータ） (Mon, 12 Jun 2023 15:13:39 GMT) - LLMを凍結した状態でresidual side-network (SideNet)を使ってメモリ機構を実現する方式の提案。既存手法の性能を上回り、in context learningでも本手法を通したshot数の向上が性能向上に効果があったとのこと
- リポジトリはGitHub – Victorwz/LongMem