日: 2025年1月3日

ResearchTown: Simulator of Human Research Community 

  • ResearchTown: Simulator of Human Research Community [14.0]
    ResearchTownは、リサーチコミュニティシミュレーションのためのマルチエージェントフレームワークである。 ResearchTownは、協調研究活動の現実的なシミュレーションを提供する。 ResearchTownは、複数の研究者と多様な論文で堅牢なシミュレーションを維持できる。
    論文  参考訳（メタデータ）   (Mon, 23 Dec 2024 18:26:53 GMT)
  • 流行っているマルチエージェントフレームワーク、だが、ついにTownに。。。
  • グラフ構造を変更するとどうなるかに興味津々
  • リポジトリはGitHub – ulab-uiuc/research-town: A platform for developers to simulate research community

Deliberation in Latent Space via Differentiable Cache Augmentation 

  • Deliberation in Latent Space via Differentiable Cache Augmentation [48.2]
    凍結した大規模言語モデルをオフラインコプロセッサで拡張し,キー値(kv)キャッシュで動作することを示す。 このコプロセッサは、後続の復号化の忠実性を改善するために設計された遅延埋め込みのセットでキャッシュを増強する。 キャッシュが拡張されると、デコーダは多数のトークンに対して低いパープレキシティを達成できることを示す。
    論文  参考訳（メタデータ）   (Mon, 23 Dec 2024 18:02:25 GMT)
  • 「This paper introduces differentiable cache augmentation, a novel method for enhancing frozen decoderonly language models by incorporating a learned coprocessor that operates on the model’s kv-cache.」という提案。coprocessorはトレーニング可能。
  • 論文でも言及のある Pause Token と考え方は似ているが、この手法のほうがより強力とのこと。