コンテンツへスキップ
- Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.4]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文 参考訳（メタデータ） (Sat, 08 Feb 2025 06:50:47 GMT)
- RAG、Trustworthyのサーベイ。実用上様々な考慮点があるとはいえ、この観点でサーベイが必要な状況に若干驚き。
- リポジトリはGitHub – Arstanley/Awesome-Trustworthy-Retrieval-Augmented-Generation、論文リストが公開されている。
- Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention [32.5]
我々は、アルゴリズムのイノベーションとハードウェアの最適化を統合する、ネイティブにトレーニング可能なスパースアテンションメカニズムであるNSAを紹介する。 NSAは動的な階層的なスパース戦略を採用し、粗粒のトークン圧縮と細粒のトークン選択を組み合わせて、グローバルなコンテキスト認識と局所的精度の両方を維持する。
論文 参考訳（メタデータ） (Sun, 16 Feb 2025 11:53:44 GMT)
- DeepSeekによる階層的、スパースなアテンションの提案。通常の実装に比べ数倍以上高速。
- 「Following the common practice in state-of-the-art LLMs, our experiments adopt a backbone combining Grouped-Query Attention (GQA) and Mixture-of-Experts (MoE), featuring 27B total parameters with 3B active parameters.」という構成で実験をしており、品質もAverageではfull attention以上という成績。
- Generative AI and Creative Work: Narratives, Values, and Impacts [37.2]
私たちは、オンラインメディアをレビューし、彼らが伝達するクリエイティブな仕事に対するAIの影響に関する支配的な物語を分析します。 この談話は、人的労働を通じて物質的実現から解放された創造性を促進する。 この言説は、支配的なテクノ実証主義のビジョンに対応し、創造的経済と文化に対する権力を主張する傾向にある。
論文 参考訳（メタデータ） (Thu, 06 Feb 2025 10:26:56 GMT)
- 「In this article, we review online media outlets and analyze the dominant narratives around AI’s impact on creative work that they convey.」
- 参入障壁の低下が良いことなのか、アイデアと実行でアイデアの重要性（比率）が上がるのは好ましいのか、などは人によって考え方が異なるとはいえ、テクノロジーの普及は止められない。。それはそれとして「For example, we believe that five years ago, narratives of generative AI in art emphasized the replacement of artists by technology, whereas current narratives focus more on augmentation and collaboration.」は本当なんだろうか・・・という疑問も。
- SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models [51.9]
SelfCiteは自己教師型のアプローチで、LLMを調整して、生成された応答における文に対する高品質できめ細かい文レベルの引用を生成する。 コストと労働集約的なアノテーションに頼る代わりに、SelfCiteはLLM自体が提供する報酬シグナルをコンテキストアブレーションを通じて活用する。 SelfCiteの有効性は、5つの長文質問応答タスクにわたるLongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。
論文 参考訳（メタデータ） (Thu, 13 Feb 2025 18:55:13 GMT)
- 「First, the full context is used to generate a response. Then, the framework evaluates the probability of generating the same response after (1) removing the cited sentences from the context and (2) using only the cited sentences in the context. The probability drop and hold are computed from these probability differences, and their sum is used as the final reward.」というアプローチのreward計算、preference optimization with SimPOが良い結果だったとの報告。
- Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.8]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳（メタデータ） (Wed, 12 Feb 2025 17:19:36 GMT)
- LLM based Agentsに対する攻撃手法の提案、「In this paper, we argue that LLM-powered agents, especially those that have the ability to communicate with the outside world via web access or external-facing databases, already pose a massive danger to their users which has largely been overlooked by the ML security and privacy community.」とのこと。Agentに対するPhisingが意外とできそうなことに若干驚き。Redditが信頼できるかというと見解は様々だと思うが、現状のAgentへの攻撃有効性が高いというのが意外だった。論文中にもある通り、自動化が進むゆえに開発側の対応体制は重要に思う。
- A Survey of Sample-Efficient Deep Learning for Change Detection in Remote Sensing: Tasks, Strategies, and Challenges [46.6]
深層学習(DL)の急速な発展により,大量のリモートセンシング画像(RSI)上で,自動的かつ高精度かつ堅牢な変化検出(CD)が可能になった。 CD手法の進歩にもかかわらず、実際の文脈における実践的応用は、多様な入力データと応用コンテキストのために制限されている。 本稿では,様々なCDタスクに関する文献的手法と,サンプル限定シナリオでDLベースのCDメソッドをトレーニングおよびデプロイするための戦略とテクニックを要約する。
論文 参考訳（メタデータ） (Wed, 05 Feb 2025 02:36:09 GMT)
- 「this article summarizes the literature methods for different CD tasks and the available strategies and techniques to train and deploy DL-based CD methods in sample-limited scenarios.」というサーベイ（CD=Change Detection）
- NatureLM: Deciphering the Language of Nature for Scientific Discovery [105.6]
基礎モデルは自然言語処理と人工知能に革命をもたらした。 科学発見のためのシーケンスベース科学基盤モデルであるNature Language Model(略してNatureLM)を紹介する。
論文 参考訳（メタデータ） (Tue, 11 Feb 2025 13:08:03 GMT)
- 「NatureLM is designed to handle the complexity of small molecules, proteins, DNA, RNA, materials, and their associated textual information. NatureLM follows the Transformer decoder architecture and is trained on a corpus of 143 billion tokens collected from various scientific domains.」という基盤モデルの提案
- LLMで有効だったアプローチがいわゆる自然言語でない分野でも有効そうなのが興味深い。大規模化やMoEも有効そうで今後が気になるところ。ただ、データ量の制限が厳しそうな印象を受けなくもない。