- In-context learning and Occam’s razor [12.6]
我々はオッカムのカミソリと文脈内学習の関連を描いている。 特に,テキスト内学習者の訓練に使用される次点の予測損失は,事前符号化と呼ばれるデータ圧縮手法と直接的に等価であることを示す。 我々の理論と実証実験は、文脈内学習の規範的な説明を提供するだけでなく、現在の文脈内学習手法の欠点を解明する。
論文 参考訳（メタデータ） (Thu, 17 Oct 2024 23:37:34 GMT) - ICLの解析、MambaのようなSSMも扱われている。
- リポジトリはGitHub – 3rdCore/PrequentialCode