LLMScore

Scaling Data-Constrained Language Models

  • Scaling Data-Constrained Language Models [151.9]
    データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
    論文  参考訳(メタデータ)   (Thu, 25 May 2023 17:18:55 GMT)
  • データ制約がある場合のスケーリングに関する検討、実験を通した実証的な論文
  • リポジトリはGitHub – huggingface/datablations: Scaling Data-Constrained Language Models