コンテンツへスキップ
- A Survey of Model Architectures in Information Retrieval [64.8]
機能抽出のためのバックボーンモデルと、関連性推定のためのエンドツーエンドシステムアーキテクチャの2つの重要な側面に焦点を当てる。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 我々は、パフォーマンスとスケーラビリティのアーキテクチャ最適化、マルチモーダル、マルチランガルデータの処理、従来の検索パラダイムを超えた新しいアプリケーションドメインへの適応など、新たな課題と今後の方向性について議論することで結論付けた。
論文 参考訳（メタデータ） (Thu, 20 Feb 2025 18:42:58 GMT)
- LLMの影響を受け、また、LLM時代で重要性増すInformation Retrievalのサーベイ
- 結論の「Information retrieval modeling has evolved from simple term matching to complex neural networks and LLM-driven approaches, significantly improving search capabilities. Key challenges ahead include balancing computational efficiency with performance, handling diverse data types, maintaining faithfulness and trustworthiness, and integrating with emerging technologies like autonomous agents.」はその通りと思う。
- LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue [5.1]
PRAISEは効果的なユーザ満足度予測のための解釈可能なフレームワークである。 3つのモジュールを通して動作する。 ユーザ満足度推定タスクの3つのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (Thu, 06 Mar 2025 18:12:33 GMT)
- ユーザ満足度を推定するためのフレームワーク「PRAISE (Plan and Retrieval Alignment for Interpretable Satisfaction Estimation)」の提案。AgenticなアプローチでStrategy Planner、Feature Retriever、Score Analyzerで構成。
- 興味深い結果だが、LLM（API）が若干古いような気がしなくもない。最新のAPIだとどのような結果になるのだろうか。
- BIG-Bench Extra Hard [98.4]
大規模言語モデル(LLM)は、ますます日常的なアプリケーションにデプロイされ、堅牢な一般的な推論機能を必要としている。 BIG-Benchデータセットは、LLMの一般的な推論能力を評価するための重要なベンチマークとして機能している。 最先端のモデルは、BIG-Benchの多くのタスクにおいてほぼ完璧なスコアを得るため、その実用性は低下する。 BIG-Bench Extra Hard (BBEH) は, LLM推論評価のバウンダリを推し進めるための新しいベンチマークである。
論文 参考訳（メタデータ） (Wed, 26 Feb 2025 14:50:50 GMT)
- BIG-Benchの強化版、「Solving the tasks in BBEH requires even further reasoning skills than the problems in BBH. These skills include, but are not limited to, many-hop reasoning, learning on the fly, finding errors in reasoning traces, processing long-context inputs and finding (multi-)needles in a haystack, going against strong prior, dealing with long-range dependencies, dealing with distractors and inducing patterns from examples.」と推論に関する能力が必要になるよう。LRM、o3-mini(high)はまずまずのスコアである一方で一部タスクを苦手としているDeepseek R1のスコアが低いのが興味深い。
- リポジトリはGitHub – google-deepmind/bbeh
- More Documents, Same Length: Isolating the Challenge of Multiple Documents in RAG [15.9]
マルチホップQAタスクから派生したカスタムデータセットの様々な言語モデルを評価する。 我々は文書数を変えながら関連情報のコンテキスト長と位置を一定に保ち、RAG設定における文書数の増加がLCMにとって大きな課題となることを発見した。
論文 参考訳（メタデータ） (Thu, 06 Mar 2025 12:38:17 GMT)
- ドキュメント数とRAG性能の関係の検証。「We keep the context length and position of relevant information constant while varying the number of documents, and find that increasing the document count in RAG settings poses significant challenges for LLMs.」と文書数の増加は悪影響を与えるとのこと。「The effects of adding non-related documents When adding irrelevant documents, LLMs’ performance improves.」はFugu-MT 論文翻訳(概要): The Power of Noise: Redefining Retrieval for RAG Systemsと同じような話なのだろうか。
- リポジトリはGitHub – shaharl6000/MoreDocsSameLen
- Generative Models in Decision Making: A Survey [63.7]
生成モデルは、高逆状態反応領域や中間部分ゴールへエージェントを誘導する軌道を生成することによって意思決定システムに組み込むことができる。 本稿では,意思決定タスクにおける生成モデルの適用について概説する。
論文 参考訳（メタデータ） (Mon, 24 Feb 2025 12:31:28 GMT)
- 生成モデル（Energy Based Models (EBMs), Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), Normalizing Flow (NFs), Diffusion Models (DMs), GFlowNets (GFNs), and Autoregressive Models (AMs).）と意思決定のサーベイ。アプリケーションは「robot control, autonomous driving, games, structural generation, and optimization.」を想定。
- CodeCriticBench: A Holistic Code Critique Benchmark for Large Language Models [97.2]
本稿では,Large Language Models (LLMs) のコード批判ベンチマークであるCodeCriticBenchを紹介する。 具体的には、CodeCriticBenchには2つの主要なコードタスク(コード生成とコードQA)が含まれています。 さらに、評価プロトコルには、基本的な批評評価と、異なる特性に対する高度な批評評価が含まれる。
論文 参考訳（メタデータ） (Sun, 23 Feb 2025 15:36:43 GMT)
- 「To evaluate the critique abilities of LLMs on the code domain, we introduce the first holistic code critique benchmark CodeCriticBench, which includes the critique on both code generation and code QA tasks.」という珍しいタスクに対するベンチマーク。DeepSeek-R1とOpenAI o1-Previewの能力が高い。
- リポジトリはGitHub – multimodal-art-projection/CodeCriticBench
- Unnatural Languages Are Not Bugs but Features for LLMs [92.8]
大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
論文 参考訳（メタデータ） (Sun, 02 Mar 2025 12:10:17 GMT)
- 「we study a phenomenon named unnatural languages – strings that deviate from natural language syntax and appear extremely noisy to human readers, yet remain understandable to LLMs.」という研究。Abstractにもある通りJailbreakの起点となったりする重要なもの。
- 「These findings strongly demonstrate our key findings: unnatural languages are not bugs but features for LLMs.」で「We demonstrate that LLMs process unnatural languages by effectively filtering out irrelevant tokens. Furthermore, LLMs combine relevant tokens from unnatural languages and infer contextual meaning in response to natural version questions.」とのこと。LLMの能力がすごい。
- リポジトリはGitHub – John-AI-Lab/Unnatural_Language: The official repository of ‘Unnatural Language Are Not Bugs but Features for LLMs’
- An Empirical Study on Eliciting and Improving R1-like Reasoning Models [90.5]
RLトレーニングのスケーリングは、そのような推論モデルを実装するための中心的なテクニックとなっている。 我々のRLトレーニングアプローチはQwen2.5-32Bベースモデルを継続的に改善することを示した。 また、ツール操作の利用についても検討し、大きな推論モデルの推論性能を大幅に向上させることを見出した。
論文 参考訳（メタデータ） (Thu, 06 Mar 2025 15:34:27 GMT)
- 様々な研究機関が取り組むR1 like（o1 like）なモデル開発のテクニカルレポート。「By effectively utilizing tool manipulation, STILL-3-TOOL-32B achieves an impressive accuracy of 86.67 (greedy search) on AIME 2024. Remarkably, this ability can be activated with only a small number of high-quality training instances 」というのは面白く、ツールの利用にも拡張が進みつつあるよう。
- リポジトリはGitHub – RUCAIBox/Slow_Thinking_with_LLMs: A series of technical report on Slow Thinking with LLM
- An Overview of Large Language Models for Statisticians [109.4]
大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。 本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。 我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
論文 参考訳（メタデータ） (Tue, 25 Feb 2025 03:40:36 GMT)
- LLMと統計学に関するサーベイ。教科書的な内容。
- 利用者目線だと「LLM-Empowered Statistical Analysis」が興味深い。
- Wikipedia in the Era of LLMs: Evolution and Risks [2.7]
既存のデータを通じてウィキペディアにおけるLarge Language Models (LLM) の影響を分析し、シミュレーションを用いて潜在的なリスクを探索する。 その結果,Wikipedia の記事は LLM の影響を受けており,特定のカテゴリーの約1%-2% が影響していることがわかった。
論文 参考訳（メタデータ） (Tue, 04 Mar 2025 18:58:13 GMT)
- LLMがwikipediaに与えている影響の調査、「While the estimation results vary, the influence of LLMs on Wikipedia is likely to become more significant over time.In some categories, the impact has exceeded 2%.」とのこと。
- 翻訳やRAGの評価用データとして使う場合には気を付ける必要がある。（論文中では「If the sentences in machine translation benchmarks are drawn from Wikipedia content shaped by LLMs, the scores of machine translation models are likely to be inflated, potentially reversing the outcomes of comparisons between different models.」、「Wikipedia content processed by LLMs could appear less effective for RAG compared to real Wikipedia content.」と指摘している）