コンテンツへスキップ
- RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.7]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文 参考訳（メタデータ） (Wed, 21 Aug 2024 07:20:48 GMT)
- RAGに関するモジュール型フレームワーク、「open-source tools such as LlamaIndex and LangChain employ high-level abstractions, which results in a lack of transparency and limits the ability to develop novel algorithms and evaluation metrics.」とあるが、実利用でも抽象化しすぎて使いにくいことは多い印象…
- リポジトリはGitHub – fate-ubw/RAGLAB: RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation
- EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.6]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 06:57:49 GMT)
- LLM callを抑えるためLabeler & Tagger、FIlterのモデルを使うタイプのRAG、合成データをうまく使ってトレーニングするアプローチ
- RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.5]
既存のRAGベンチマークは主に、大言語モデルが一般的な知識に正しく答えられるかどうかを評価することに焦点を当てている。 本稿では,評価データセットを自動生成するフレームワークであるRAGEvalを紹介する。 LLMが生み出す応答を慎重に評価するために, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。
論文 参考訳（メタデータ） (Fri, 02 Aug 2024 13:35:11 GMT)
- RAGを評価するベンチマークの自動生成フレームワーク。DRAGONBall dataset（Diverse RAG Omni-Benchmark for All domains）って・・・。
- 分析結果から見えるGenerate、Retrieverそれぞれのモデルの性能が興味深い。結論には「Notably, while GPT-4o showed superior performance overall, the gap with top-performing open-source models was relatively small.」という指摘も。
- Retrieval-Augmented Generation for Natural Language Processing: A Survey [25.1]
検索強化生成(RAG)は、外部知識データベースを利用して大きな言語モデルを拡張する。 本稿では,RAGの重要技術,特に検索器と検索融合について概説する。 RAGは、自然言語処理のタスクや産業シナリオで使われる。
論文 参考訳（メタデータ） (Thu, 18 Jul 2024 06:06:53 GMT)
- 実用上重要なRAGのサーベイ。
- 構成要素の選択肢が多く、整理された情報はとてもありがたい。
- Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems [124.8]
我々は、文書のHaystackを合成する手順を設計し、特定のテキストが文書間で繰り返されることを保証します。 すると、”Summary of a Haystack”(SummHay)タスクは、Haystackを処理し、クエリ、関連する洞察を特定し、ソースドキュメントを正確に引用する要約を生成するシステムを必要とする。
論文 参考訳（メタデータ） (Mon, 01 Jul 2024 15:23:42 GMT)
- 長文・大量の文書を要約できるかに関する（合成データによる）SummHay ベンチマークを構築、様々なLLM及びRAGを比較した論文。「achieving strong coverage of key insights in a large corpus of text does not require retrieval, given a sufficiently capable long-context LLM.」、「for use-cases where citation quality is important, optimizing retrieval is paramount: it removes irrelevant documents from the summarizer’s context, narrowing and focusing options for citation.」とユースケースによってRAGの有効性が変わるよう。Gemini 1.5 ProはRAGなしでも相当有効に機能しているようなことも興味深い。Retrieveの戦略も複数比較されており参考になる。
- リポジトリはGitHub – salesforce/summary-of-a-haystack: Codebase accompanying the Summary of a Haystack paper.
- Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts [39.5]
我々は、類似性は必ずしもパナセアではなく、類似性に完全に依存することは、時として検索拡張生成の性能を低下させるであろうと論じている。 我々はMulti layEred ThoughtsEnhanced Retrieval Augmented GenerationフレームワークであるMetRagを提案する。
論文 参考訳（メタデータ） (Thu, 30 May 2024 09:50:38 GMT)
- ただの類似検索によるRAGではなく、類似検索＋supervisedな学習を行ったモデルの組み合わせにさらに適応型要約を使ってRAGを行うアプローチの提案
- 非常に重そうなアプローチではあるがベンチマークでは他手法に比べて優れた結果を出している