Parametric Retrieval Augmented Generation

  • Parametric Retrieval Augmented Generation [32.3]
    Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
    論文  参考訳(メタデータ)   (Mon, 27 Jan 2025 10:04:49 GMT)
  • 「we propose to insert documents directly into the parameters of L. To achieve this, the Parametric RAG framework is designed with two stages: an offline document parameterization stage and an online inference stage with a Retrieve-Update-Generate workflow.」(LはLLMのパラメータ)という方式のRAG?の提案。LoRA をつかってなお計算は大変そうだが、性能はよさそうに見える。
  • リポジトリはGitHub – oneal2000/PRAG: Code for Parametric Retrieval Augmented Generation

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です