- Inverse Scaling: When Bigger Isn’t Better [65.0]
大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
論文 参考訳（メタデータ） (Thu, 15 Jun 2023 20:11:23 GMT) - 大規模言語モデルでTraining FLOPs（モデルパラメータとも相関）が拡大するにつれ通常とは逆にスコアが悪化するタスクの例と分析、 the Inverse Scaling Prize (§2)の分析
- U字型だけでなく逆U字型のグラフになるタスクがあるのが興味深い。
- リポジトリはGitHub – inverse-scaling/prize: A prize for finding tasks that cause large language models to show inverse scaling