タグ: mid training

PRISM: Demystifying Retention and Interaction in Mid-Training

  • PRISM: Demystifying Retention and Interaction in Mid-Training [20.2]
    PRISMは、大規模言語モデルにおける中級学習設計の選択に関する総合的な実証的研究である。 約27Bの高品位トークンの中間トレーニングでは, 数学では+15から+40点, コードでは+5から+12点, 科学ベンチマークでは+6から+13点, 一般性能は+6から+13点となる。
    論文  参考訳（メタデータ）   (Tue, 17 Mar 2026 19:04:33 GMT)
  • 「State-of-the-art models now incorporate an additional intermediate stage, mid-training, in which higher-quality, domain-focused data mixtures are used to imbue reasoning capabilities before downstream fine-tuning and reinforcement learning (RL) (Team et al , 2025; Olmo et al , 2025).」とのことで、Mid trainingに関する有効性の分析。
  • プロジェクトサイトはPRISM: Demystifying Retention and Interaction in Mid-Training