2024年7月23日 – arXiv最新論文の紹介

BM25S: Orders of magnitude faster lexical search via eager sparse scoring

BM25S: Orders of magnitude faster lexical search via eager sparse scoring [0.0]
BM25Sは、NumpyとScipyのみに依存する、効率的なPythonベースのBM25の実装である。最も人気のあるPythonベースのフレームワークと比較して最大500倍のスピードアップを実現している。
論文参考訳（メタデータ） (Thu, 04 Jul 2024 04:01:05 GMT)
高速なBM25の実装
リポジトリはGitHub – xhluca/bm25s: Fast lexical search library implementing BM25 in Python using Scipy (on average 2x faster than Elasticsearch in single-threaded setting)

LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.3]
事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文参考訳（メタデータ） (Sat, 13 Jul 2024 07:36:49 GMT)
fine tuning用のデータを拡張していくフレームワークの提案。間違った部分に注目するアプローチでLlama-2-7Bを用いて有効性を検証とのこと。
リポジトリはGitHub – SqueezeAILab/LLM2LLM: [ACL 2024] LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement

Self-Evolving GPT: A Lifelong Autonomous Experiential Learner [40.2]
大規模言語モデル(LLM)に基づく生涯の自律的経験学習フレームワークを設計する。自律的に学習し、経験の伝達と帰納を通じて経験を蓄積し、どのような種類の入力質問を分類し、どの蓄積された経験を雇用するかを選択する。 6つのNLPデータセットによる実験結果から,本フレームワークは各中間段階において確実に動作し,GPT-3.5およびGPT-4の性能を効果的に向上することが示された。
論文参考訳（メタデータ） (Fri, 12 Jul 2024 02:49:13 GMT)
自律的に学習、自己改善していけるフレームワークの提案。タスク固有の経験をデータとして蓄積していくタイプのよう
fine tuningを行うタイプの手法ではないためGPT-4などAPI経由でも活用可能。Self-ICLなど他の手法と比べ有効性を確認とのこと。