- Muon Outperforms Adam in Tail-End Associative Memory Learning [119.0]
機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
論文 参考訳（メタデータ） (Tue, 30 Sep 2025 10:04:08 GMT) - 採用例が増えているオプティマイザ、Muonの分析。「The Muon update rule is aligned with the outer-product structure of linear assciative memories, enabling more balanced and effective learning of tail classes in heavy-tailed distributions as compared with Adam.」