タグ: Memory

Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions 

  • Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.2]
    メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。 この調査は、AIのメモリに関する研究、ベンチマークデータセット、ツールに関する構造化された動的視点を提供する。
    論文  参考訳（メタデータ）   (Thu, 01 May 2025 17:31:33 GMT)
  • LLM、エージェントにとって重要なメモリのサーベイ。
  • 「In this survey, we first categorize memory representations into parametric, contextual structured, and contextual unstructured and then introduce six fundamental memory operations: Consolidation, Updating, Indexing, Forgetting, Retrieval, and Compression.」という軸設定。

Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

  • Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory [0.6]
    大規模言語モデル(LLM)は、文脈的に一貫性のある応答を生成する際、顕著な進歩を示した。 しかし、それらの固定されたコンテキストウィンドウは、長時間のマルチセッション対話に対する一貫性を維持するための根本的な課題を生じさせる。 私たちはMem0というスケーラブルなメモリ中心アーキテクチャを導入し、進行中の会話から健全な情報を動的に抽出し、統合し、取得することでこの問題に対処します。
    論文  参考訳（メタデータ）   (Mon, 28 Apr 2025 01:46:35 GMT)
  • 「(1) Mem0 implements a novel paradigm that extracts, evaluates, and manages salient information from conversations through dedicated modules for memory extraction and updation. The system processes a pair of messages between either two user participants or a user and an assistant. (2) Mem0 extends this foundation by incorporating graph-based memory representations, where memories are stored as directed labeled graphs with entities as nodes and relationships as edges.」というグラフ構造を活用しつつ”記憶”を管理するLLM用メモリアーキテクチャの提案。
  • プロジェクトサイトはScalable Long-Term Memory for Production AI Agents | Mem0

From Human Memory to AI Memory: A Survey on Memory Mechanisms in the Era of LLMs

  • From Human Memory to AI Memory: A Survey on Memory Mechanisms in the Era of LLMs [34.4]
    メモリは情報をエンコードし、保存し、検索するプロセスである。 大規模言語モデル(LLM)の時代において、メモリとは、AIシステムが過去のインタラクションからの情報を保持し、リコールし、使用し、将来の応答とインタラクションを改善する能力である。
    論文  参考訳（メタデータ）   (Tue, 22 Apr 2025 15:05:04 GMT)
  • 取り扱いが難しいLLMの記憶に関するサーベイ。
  • 様々な手法が提案されているものの解決すべき課題が多い。Open Problems and Future Directionsがとても参考になる。

MARS: Memory-Enhanced Agents with Reflective Self-improvement 

  • MARS: Memory-Enhanced Agents with Reflective Self-improvement [19.0]
    本稿では,リフレクティブ自己改善型メモリ強化エージェントを提案する。 フレームワークは、User、Assistant、Checkerの3つのエージェントで構成されている。
    論文  参考訳（メタデータ）   (Tue, 25 Mar 2025 02:05:46 GMT)
  • 「we propose the MARS framework, which enhances agents’ self-adjustment and memory management in complex tasks through reflective mechanisms and memory optimization.」
  • 「The MARS framework implements a dual-memory system, consisting of Short-Term Memory (STM) and Long-Term Memory (LTM)」と短期・長期を分けていることが特徴的なエージェンティックなアプローチのメモリ強化フレームワークの提案。

AI-native Memory 2.0: Second Me

  • AI-native Memory 2.0: Second Me [26.4]
    SECOND MEはインテリジェントで永続的なメモリオフロードシステムとして機能する。 コンテキスト対応の応答を生成し、必要な情報をプリフィルし、外部システムとのシームレスな通信を容易にする。 さらに、第2のMEは、永続的で文脈的に認識され、自己最適化されたメモリシステムとの人間と世界の相互作用を強化するための重要なステップである。
    論文  参考訳（メタデータ）   (Wed, 12 Mar 2025 11:31:31 GMT)
  • HippoRAG2, RAG vs Graph RAG, A-MEM: Agentic Memory for LLM Agents – arXiv最新論文の紹介のAgentic Memory的なアプローチに見えるAIと協働することを前提としたメモリシステムの提案。実装に興味があるのでOSS部分をみてたいところ。
  • リポジトリはhttps://github.com/Mindverse/Second-Meとのことだが、現状は404

HippoRAG2, RAG vs Graph RAG, A-MEM: Agentic Memory for LLM Agents

xRAG、FlashRAG、HippoRAG – arXiv最新論文の紹介の改善や、RAGとGraphRAGとの比較、AgenticなアプローチなどRAGやメモリ強化関連の研究は盛ん。得意領域が異なるのでハイブリッド化する動きが多く、また、Agenticに対応していくアプローチも多い印象。

  • RAG vs. GraphRAG: A Systematic Evaluation and Key Insights [42.3]
    我々は,テキストベースベンチマークを用いて,検索型拡張生成(RAG)とグラフRAGを体系的に評価する。 本結果は,RAGとGraphRAGの異なる課題と評価の観点から,それぞれ異なる強みを浮き彫りにしている。
    論文  参考訳（メタデータ）   (Mon, 17 Feb 2025 02:36:30 GMT)
  • 通常のRAGとGraphRAGの詳細な比較
  • 「Community-based GraphRAG with Global Search focuses more on the global aspects of whole corpus, whereas RAG captures more detailed information.」とのこと
  • A-MEM: Agentic Memory for LLM Agents [42.5]
    大規模言語モデル(LLM)エージェントは、歴史的経験を活用するためにメモリシステムを必要とする。 現在のメモリシステムは基本的なストレージと検索を可能にするが、洗練されたメモリ構造は欠如している。 本稿では, LLMエージェントに対して, エージェント方式で動的に記憶を整理できる新しいエージェントメモリシステムを提案する。
    論文  参考訳（メタデータ）   (Mon, 17 Feb 2025 18:36:14 GMT)
  • Agenticなデータの保持。「1) Link Generation – automatically establishing connections between memories by identifying shared attributes and similar contextual descriptions, and (2) Memory Evolutionenabling existing memories to dynamically evolve as new experiences are analyzed, leading to the emergence of higher-order patterns and attributes.」とのことで、下記のように動作するとのこと。
    • Generates comprehensive notes with structured attributes
    • Creates contextual descriptions and tags
    • Analyzes historical memories for relevant connections
    • Establishes meaningful links based on similarities
    • Enables dynamic memory evolution and updates
  • リポジトリはGitHub – WujiangXu/AgenticMemory

LM2: Large Memory Models 

  • LM2: Large Memory Models [11.3]
    本稿では,補助メモリモジュールで拡張されたデコーダのみのトランスフォーマーアーキテクチャであるLarge Memory Model (LM2)を紹介する。 BABILongベンチマークの実験結果によると、LM2モデルはメモリ拡張RTTモデルとベースラインのLlama-3.2モデルの両方を平均86.3%上回っている。
    論文  参考訳（メタデータ）   (Sun, 09 Feb 2025 22:11:42 GMT)
  • Large Memory Model (LM2)「decoder-only Transformer architecture enhanced with an auxiliary memory module」の提案。多くの人が待ち望んでいる拡張形態であり、実用的な規模（大規模）での検証でうまくいくか興味津々。
  • リポジトリはGitHub – convergence-ai/lm2: Official repo of paper LM2

Symbolic Working Memory Enhances Language Models for Complex Rule Application

  • Symbolic Working Memory Enhances Language Models for Complex Rule Application [87.3]
    大規模言語モデル(LLM)は、顕著な推論性能を示しているが、多段階の推論に苦慮している。 本稿では,外部ワーキングメモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 当社のフレームワークは,LLMベースのルール実装とシンボリックルールグラウンディングを反復的に実施する。
    論文  参考訳（メタデータ）   (Sat, 24 Aug 2024 19:11:54 GMT)
  • LLMが苦手とするルールを適用していく多段推論に対応するため作業領域を用いる手法の提案。「We implement this working memory to store rules and facts in both natural language and their symbolic forms (i.e., in Prolog), thus supporting precise symbolic reference.」とPrologのような形式を併用するのが特徴的。
    • 人でもこの手の疑似コードを使うことを考えると、他のタスクでも有効かもしれない。
  • リポジトリはGitHub – SiyuanWangw/RuleApplication