Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions 

  • Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions [35.8]
    LLM(Large Language Models)の指数関数的成長は、絶え間なく拡大する計算およびデータ要求を満たすための効率的な戦略の必要性を強調し続けている。 本調査は、知識蒸留(KD)とデータセット蒸留(DD)の2つの相補的パラダイムを包括的に分析する。
    論文  参考訳(メタデータ)   (Sun, 20 Apr 2025 23:50:23 GMT)
  • 蒸留に関するサーベイ
  • 「Crucially, the success of KD in LLMs hinges on DD techniques, which enable the creation of compact, informationrich synthetic datasets that encapsulate the diverse and complex knowledge of the teacher LLMs.」とKnowledge distillationとDataset distillationを対としてサーベイするものは珍しいかもしれない

Foundation Models for Environmental Science: A Survey of Emerging Frontiers

  • Foundation Models for Environmental Science: A Survey of Emerging Frontiers [27.8]
    本調査は,環境科学における基礎的応用の概要を概観する。 これは、フォワード予測、データ生成、データ同化、ダウンスケーリング、逆モデリング、モデルエンハンブル、ドメイン間の意思決定など、一般的な環境ユースケースにおける進歩を強調している。 我々は、重要な環境問題に対処する上での発見を促進するために、機械学習の進歩を加速する学際的なコラボレーションを促進することを目的としている。
    論文  参考訳(メタデータ)   (Sat, 05 Apr 2025 20:56:38 GMT)
  • 「This survey presents a comprehensive overview of foundation model applications in environmental science, highlighting advancements in common environmental use cases including forward prediction, data generation, data assimilation, downscaling, inverse modeling, model ensembling, and decision-making across domains.」というサーベイ。

Tree-based Models for Vertical Federated Learning: A Survey 

  • Tree-based Models for Vertical Federated Learning: A Survey [71.8]
    ツリーベースのモデルは、その有効性、堅牢性、解釈可能性により、幅広い現実世界のアプリケーションで大きな成功を収めている。 木質モデルの違いと進歩を実証的に観察するための一連の実験を行った。
    論文  参考訳(メタデータ)   (Thu, 03 Apr 2025 05:16:09 GMT)
  • Vertical Federated Learning (VFL refers to the setting where parties’ data samples are overlapped but their feature spaces are different and complementary)かつツリーベースな研究に関するサーベイ
  • 実用上は大事なパート

Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

  • Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models [51.9]
    大規模言語モデル(LLM)の最近の進歩は、複雑な推論タスクを実行する能力を大幅に強化している。 システム1推論は計算効率が良いが、最適以下の性能をもたらす。 システム2推論(System 2 reasoning)は、思考の遅さや非効率性、不必要な推論の振る舞いにより、かなりの計算コストを発生させることが多い。
    論文  参考訳(メタデータ)   (Mon, 31 Mar 2025 17:58:07 GMT)
  • 「In this survey, we provide a comprehensive analysis of reasoning economy in both the post-training and test-time inference stages of LLMs, encompassing」というサーベイ。
  • リポジトリはGitHub – DevoAllen/Awesome-Reasoning-Economy-Papers: Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

A Survey on Unlearnable Data 

  • A Survey on Unlearnable Data [27.3]
    Unlearnable Data(ULD)は、機械学習モデルが特定のデータから意味のあるパターンを学ぶのを防ぐ革新的な防御技術として登場した。 我々は、異なるUDLアプローチを比較し、比較し、その強み、制限、および非学習性、不受容性、効率、堅牢性に関連するトレードオフを分析します。 本稿では, モデル劣化に伴う摂動不感のバランスや, ULD生成の計算複雑性など, 重要な課題について論じる。
    論文  参考訳(メタデータ)   (Sun, 30 Mar 2025 17:41:30 GMT)
  • 「Unlearnable Data (ULD) refers to a category of data that has been deliberately modified through subtle perturbations, preventing models from effectively learning useful representations during training while maintaining perceptual quality for human observers.」のサーベイ。

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems 

  • Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems [133.5]
    大規模言語モデル(LLM)の出現は、人工知能の変革的シフトを触媒している。 これらのエージェントがAI研究と実践的応用をますます推進するにつれて、その設計、評価、継続的な改善は複雑で多面的な課題を呈している。 この調査は、モジュール化された脳にインスパイアされたアーキテクチャ内でインテリジェントエージェントをフレーミングする、包括的な概要を提供する。
    論文  参考訳(メタデータ)   (Mon, 31 Mar 2025 18:00:29 GMT)
  • 「This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research.」という非常に包括的なサーベイ。
  • リポジトリはGitHub – FoundationAgents/awesome-foundation-agents: About Awesome things towards foundation agents. Papers / Repos / Blogs / …

Towards Trustworthy GUI Agents: A Survey

  • Towards Trustworthy GUI Agents: A Survey [64.6]
    本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
    論文  参考訳(メタデータ)   (Sun, 30 Mar 2025 13:26:00 GMT)
  • GUIエージェントの信頼性に関するサーベイ。整理軸は「Security」、「Reliability」、「Explainability」、「Ethical Alignment」、「Evaluation methodologies」

A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond

Large Language Model Agent: A Survey on Methodology, Applications and Challenges

  • Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3]
    大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
    論文  参考訳(メタデータ)   (Thu, 27 Mar 2025 12:50:17 GMT)
  • LLMによって急速に広がるエージェントのサーベイ。「Despite remarkable progress, significant challenges remain, including scalability limitations, memory constraints, reliability concerns, and inadequate evaluation frameworks.」
  • リポジトリはGitHub – luo-junyu/Awesome-Agent-Papers: Large Language Model Agent: A Survey on Methodology, Applications and Challenges

Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models 

  • Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [51.3]
    大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
    論文  参考訳(メタデータ)   (Thu, 20 Mar 2025 17:59:38 GMT)
  • overthinkingの防止、効率的な推論に関するサーベイ
  • リポジトリはGitHub – Eclipsess/Awesome-Efficient-Reasoning-LLMs