$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  • $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge [6.1]
    我々は,複数のドメインにまたがる仮説的かつ妥当なニュースからなるデータセットである$textitNew News$を紹介した。 我々は,文脈を伴わないモデルから知識を抽出し,文脈を伴わないモデルの重みに組み込むための,セルフプレイデータ生成プロトコルのスイートを探索する。 以上の結果から,Sys2-FTの自己QAプロトコルは,モデルによるニュースの重み付け学習を大幅に改善することが示された。
    論文  参考訳(メタデータ)   (Sat, 03 May 2025 12:49:35 GMT)
  • ICLとFTのギャップに関する分析とSys2-FTという手法の提案。「Our results demonstrate that the self-QA protocol of Sys2-FT significantly improves models’ in-weight learning of the news.」とのこと。
  • ICLとFTの差異はとても興味深いし実用上も重要。

EchoInk-R1: Exploring Audio-Visual Reasoning in Multimodal LLMs via Reinforcement Learning

Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions 

  • Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.2]
    メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。 この調査は、AIのメモリに関する研究、ベンチマークデータセット、ツールに関する構造化された動的視点を提供する。
    論文  参考訳(メタデータ)   (Thu, 01 May 2025 17:31:33 GMT)
  • LLM、エージェントにとって重要なメモリのサーベイ。
  • 「In this survey, we first categorize memory representations into parametric, contextual structured, and contextual unstructured and then introduce six fundamental memory operations: Consolidation, Updating, Indexing, Forgetting, Retrieval, and Compression.」という軸設定。