- Scaling Data-Constrained Language Models [151.9]
データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
論文 参考訳（メタデータ） (Thu, 25 May 2023 17:18:55 GMT) - データ制約がある場合のスケーリングに関する検討、実験を通した実証的な論文
- リポジトリはGitHub – huggingface/datablations: Scaling Data-Constrained Language Models