- Beyond Language Models: Byte Models are Digital World Simulators [68.9]
bGPTは、デジタルワールドをシミュレートする次のバイト予測モデルである。 これは、テキスト、オーディオ、画像など、様々なモダリティにわたるパフォーマンスの特殊なモデルと一致している。 シンボリックな音楽データを変換する過程をほぼ完璧に再現し、1バイトあたり0.0011ビットの誤り率を達成した。
論文 参考訳（メタデータ） (Thu, 29 Feb 2024 13:38:07 GMT) - テキストではなくバイトを扱うGPT系モデル。「 training models for next byte prediction can potentially lead to a paradigm shift in deep learning, allowing them to truly understand and simulate all activities in the digital world.」はそうだが熱すぎる。そして、それなりに動いていそうなのが興味深い。Sequential Modeling Enables Scalable Learning for Large Vision Models – arXiv最新論文の紹介 (devneko.jp)を思い出すアプローチ。
- リポジトリはBeyond Language Models: Byte Models are Digital World Simulators (byte-gpt.github.io)