投稿者: staka

FourCastNet 3: A geometric approach to probabilistic machine-learning weather forecasting at scale

  • FourCastNet 3: A geometric approach to probabilistic machine-learning weather forecasting at scale [91.8]
    FourCastNet 3は、確率的アンサンブル予測にスケーラブルで幾何学的な機械学習(ML)アプローチを実装することで、グローバルな気象モデリングを推進している。 FourCastNet 3は、従来のアンサンブルモデルを上回る予測精度を提供し、最良の拡散ベースのメソッドに匹敵する。 その計算効率、中距離確率的スキル、スペクトルの忠実度、およびサブシーズンタイムスケールでのロールアウト安定性は、大規模なアンサンブル予測を通じて気象予知と早期警報システムを改善するための強力な候補となる。
    論文  参考訳（メタデータ）   (Wed, 16 Jul 2025 11:22:18 GMT)
  • 機械学習ベースの気象予測。

EXAONE 4.0: Unified Large Language Models Integrating Non-reasoning and Reasoning Modes

  • EXAONE 4.0: Unified Large Language Models Integrating Non-reasoning and Reasoning Modes [42.3]
    EXAONE 4.0は、EXAONE 3.5の優れた使いやすさとEXAONE Deepの高度な推論能力の両方を達成するために、非推論モードと推論モードを統合している。 EXAONE 4.0シリーズは、高性能に最適化された中型32Bモデルと、オンデバイスアプリケーション用に設計された小型1.2Bモデルである。
    論文  参考訳（メタデータ）   (Tue, 15 Jul 2025 15:24:51 GMT)
  • LLM/LRMハイブリッドなLGのモデル。「Unified Mode Training In the combined dataset, the NON-REASONING data primarily consists of diverse tasks, while the REASONING data is centered on Math and Code domains. Rather than fine-tuning the two modes sequentially, we combine both modes and train them together.」とのこと。構築過程の「After unified NON-REASONING/REASONING mode fine-tuning, to address domain imbalance, we perform a second round of training using high-quality REASONING data from the Code and Tool Use domains, reusing these samples to further enhance the performance.」が興味深い。
  • リポジトリはLGAI-EXAONE (LG AI Research)

A Survey on Latent Reasoning 

  • A Survey on Latent Reasoning [100.5]
    大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
    論文  参考訳（メタデータ）   (Tue, 08 Jul 2025 17:29:07 GMT)
  • Latent CoT （Unlike traditional CoT reasoning that generates explicit textual intermediate steps, latent CoT methods perform reasoning through continuous representations and hidden states within the model’s computational graph.）など推論過程を表に出すことなく潜在空間で行うタイプの手法に関するサーベイ。
  • プロジェクトサイトはGitHub – multimodal-art-projection/LatentCoT-Horizon: 📖 This is a repository for organizing papers, codes, and other resources related to Latent Reasoning.

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation

  • Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [50.0]
    本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、KVペアを最初の再帰から再利用するKV共有変種を提案し、特にプリフィルレイテンシとメモリフットプリントの削減を図っている。
    論文  参考訳（メタデータ）   (Mon, 14 Jul 2025 17:49:00 GMT)
  • 「We propose Mixture-of-Recursions (MoR)—a framework that dynamically adjusts recursion step for each token during pretraining and inference. The core of MoR lies in two components: a routing mechanism that assigns token-specific recursion steps to adaptively concentrate computation on more challenging tokens, and a KV caching strategy that defines how KV pairs are stored and selectively utilized for attention at each recursive step.」という構造の提案。「MoR consistently outperforms recursive baselines and matches or exceeds the standard Transformers at larger scales, despite using significantly fewer parameters (approximately one-third due to layer tying with 𝑁𝑅= 3).」とのこと。
  • リポジトリはGitHub – raymin0223/mixture_of_recursions: Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Thinking

Lizard: An Efficient Linearization Framework for Large Language Models

  • Lizard: An Efficient Linearization Framework for Large Language Models [100.6]
    我々は,事前学習したトランスフォーマーベース大規模言語モデル(LLM)を,無限コンテキスト生成のための柔軟性のあるサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 Lizardは、出力品質を保ちながらソフトマックスアテンションを正確に近似するサブクワッドアテンションメカニズムを導入することで、この制限に対処する。 そこで本研究では,Lizardが従来の線形化手法を著しく上回りながら,標準言語モデリングタスクにおける教師モデルの性能のほぼ無作為な回復を実現していることを示す。
    論文  参考訳（メタデータ）   (Fri, 11 Jul 2025 21:19:18 GMT)
  • 「Lizard (Linearizing Softmax Attention with Recurrent Gate Dynamics), an efficient framework for linearizing LLMs」の提案。
  • 「We train our model in two stages: (1) an attention approximation stage where the subquadratic modules are trained to mimic softmax attention outputs, and (2) a fine-tuning stage where the linearized model is adapted to downstream language modeling objectives.」と既存モデルを活用していくアプローチで拡張に使用する学習データが少なく、性能劣化も抑えられるとのこと。

Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety 

  • Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.8]
    CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。 我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。 CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
    論文  参考訳（メタデータ）   (Tue, 15 Jul 2025 16:43:41 GMT)
  • CoT監視可能性に関する検討。できそうに思いつつCoTの実際の例を見ると結構難しそうにも思える。

Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training 

  • Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.6]
    本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
    論文  参考訳（メタデータ）   (Wed, 16 Jul 2025 17:59:24 GMT)
  • 「Our work demonstrates that through careful algorithm design, including decoupled clipping, dynamic sampling, controlled KL regularization, and periodic reference policy resets, even small- scale models can achieve substantial reasoning improvements without the computational demands of larger architectures.」と小規模モデルでも有効な強化学習手法の提案。
  • リポジトリはnvidia/Nemotron-Research-Reasoning-Qwen-1.5B · Hugging Face

Conformal Prediction for Privacy-Preserving Machine Learning

  • Conformal Prediction for Privacy-Preserving Machine Learning [83.9]
    AESで暗号化されたMNISTデータセットの変種を用いて、暗号化されたドメインに直接適用しても、コンフォーマル予測法が有効であることを示す。 我々の研究は、安全でプライバシーに配慮した学習システムにおける原則的不確実性定量化の基礎を定めている。
    論文  参考訳（メタデータ）   (Sun, 13 Jul 2025 15:29:14 GMT)
  • 「We then assess the same model architecture under encryption. When trained on MNIST images encrypted with a fixed key and initialization vector (AES encryption; see Section 3), the model attains an average training accuracy of 39.48% and a test accuracy of 36.88%.」って本当なんだろうか…「In contrast, training the same model on the MNIST dataset with randomized encryption per sample (a unique key per image) results in a test accuracy of 9.56%, indistinguishable from random guessing.」と記載されているということはleakとかではなさそうだが。。。キーとIVが固定とはいえ、結構驚きがある。

A Survey on Long-Video Storytelling Generation: Architectures, Consistency, and Cinematic Quality 

  • A Survey on Long-Video Storytelling Generation: Architectures, Consistency, and Cinematic Quality [108.9]
    ビデオ生成モデルは5～16秒間のビデオしか生成できないが、しばしば「ロングフォームビデオ」とラベル付けされる。 16秒を超えるビデオは、物語全体を通して一貫したキャラクターの外観とシーンレイアウトを維持するのに苦労する。 近年の研究では、複数のキャラクター、物語のコヒーレンス、高忠実度の詳細を特徴とする長編ビデオの制作が試みられている。
    論文  参考訳（メタデータ）   (Wed, 09 Jul 2025 18:20:33 GMT)
  • 一貫した長い動画を生成するための手法等のサーベイ

Probing for Arithmetic Errors in Language Models 

  • Probing for Arithmetic Errors in Language Models [86.8]
    言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
    論文  参考訳（メタデータ）   (Wed, 16 Jul 2025 16:27:50 GMT)
  • 「Starting with a controlled set- ting of 3-digit addition, we show that simple probes can accurately decode both the model’s predicted output and the correct an- swer from hidden states, regardless of whether the model’s output is correct.」はまぁできるだろうとして、「We then extend this analysis to a more complex setting, where the model is asked to solve math word problems only requiring addition (Cobbe et al , 2021) using a structured chain-of-thought (CoT) format (Wei et al , 2022), in which intermediate steps are expressed as equations (e g , <a+b=c>). Remarkably, we find that the same probes trained on simple arithmetic queries can be applied directly to this setting, maintaining over 80% accuracy in detecting whether the model is producing correct intermediate results.」やself correlationに役立ったりは面白い結果。