MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers [22.5] MemoryLLMは、フィードフォワードモジュールを自己アテンションから切り離すことを目的としている。 トークンの埋め込みを使って、自己注意から独立してトレーニングする。 システムは、文脈のないトークン単位の埋め込みでFFNをトレーニングすることによるパフォーマンスギャップを橋渡しする。 論文参考訳（メタデータ） (Fri, 30 Jan 2026 23:25:20 GMT)
新たな構造によるメモリ機構の分析、「We found that knowledge associated with lexically and semantically similar tokens are indexed across similar memory locations within FFNs. This knowledge is crucial for the performance of retrieval-based tasks.」とのこと。