- Deep Model Assembling [31.9]
本稿では,大規模モデルをトレーニングするための分割・分散戦略について検討する。 大きなモデルを小さなモジュールに分割し、個別にトレーニングし、トレーニングされたモジュールを再組み立てしてターゲットモデルを取得する。 すべてのモジュールを暗黙的にリンクするグローバルな共有メタモデルを導入します。 これにより、組み立てられた時に効果的に協調する高度に互換性のあるモジュールをトレーニングできます。
論文 参考訳（メタデータ） (Thu, 8 Dec 2022 08:04:06 GMT) - Deep Learningでの divide-and-conquer strategy
- 何となくうまくいきそうという感想と、なんでこれつながるんだろうという感想と不思議な感覚
- リポジトリはLeapLabTHU/Model-Assembling: Code release for Deep Model Assembling (https://arxiv.org/abs/2212.04129) (github.com)