- RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation [8.4]
我々は、RAGのユースケースのための大規模言語モデルを拡張するためのオープンソースのフレームワークであるRAG Foundryを紹介します。 RAG Foundryはデータ生成、トレーニング、推論、評価を単一のワークフローに統合する。 多様なRAG構成を持つLlama-3およびPhi-3モデルを拡張し,微調整することで,フレームワークの有効性を示す。
論文 参考訳（メタデータ） (Mon, 05 Aug 2024 15:16:24 GMT) - 「an open-source library dedicated to the task of RAG-augmentation of LLMs, namely fine-tuning LLMs to become better at RAG settings.」のためのフレームワーク。
- リポジトリはGitHub – IntelLabs/RAGFoundry: Framework for specializing LLMs for retrieval-augmented-generation tasks using fine-tuning.
日: 2024年8月14日
MoExtend: Tuning New Experts for Modality and Task Extension
- MoExtend: Tuning New Experts for Modality and Task Extension [61.3]
MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
論文 参考訳（メタデータ） (Wed, 07 Aug 2024 02:28:37 GMT) - MoE的なものだが、モダリティを拡張する手法の提案、実験結果からも非常に効果的に見える。
- リポジトリはGitHub – zhongshsh/MoExtend: ACL 2024 (SRW), Official Codebase of our Paper: “MoExtend: Tuning New Experts for Modality and Task Extension”
Better Alignment with Instruction Back-and-Forth Translation
- Better Alignment with Instruction Back-and-Forth Translation [120.2]
本稿では,世界知識を基盤とした高品質な合成データを構築するために,バック・アンド・フォース・トランスフォーメーション(back-and-forth translation)という新たな手法を提案する。 ウェブコーパスから文書が与えられた場合、Liらによって提案されたバックトランスレーション手法を用いて合成命令を生成し、キュレートする。 我々は,Web上の情報多様性と量を活用しながら,効果的なアライメントに必要な応答の品質を確保しながら,両世界の長所を組み合わさっていることを発見した。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 17:42:32 GMT) - アライメントを対象とした合成データ構築
- backtranslation modelの構築、Filtering、Rewritingという流れ。「Overall we find that step (3) Rewriting is more effective compared to (2) Filtering, though using both offers complementary performance benefits.」というのも興味深い記述。