コンテンツへスキップ
- Training LLMs over Neurally Compressed Text [55.1]
本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
論文 参考訳（メタデータ） (Thu, 04 Apr 2024 17:48:28 GMT)
- 圧縮したテキストを用いた学習、「In particular, we find that text naïvely compressed via Arithmetic Coding is not readily learnable by LLMs.To overcome this, we propose Equal-Info Windows, a novel compression technique whereby text is segmented into blocks that each compress to the same bit length.」とのこと。
- めっちゃ面白いアイデアではあるが実用的かは謎。
- Quantum Neural Network Compression [23.2]
量子ニューラルネットワークと古典ニューラルネットワークの圧縮には相違点があることが示されている。 我々は、量子ニューラルネットワークを圧縮する最初の体系的フレームワーク、CompVQCを提案する。
論文 参考訳（メタデータ） (Tue, 5 Jul 2022 15:19:43 GMT)- Quantum Neural Networks (QNNs)の性質を利用したモデル圧縮。量子ニューラルネットワークが流行るかは分からないが、通常のモデルとの違いが面白い。
- COIN++: Data Agnostic Neural Compression [55.3]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (Sun, 30 Jan 2022 20:12:04 GMT)- 圧縮へのニューラルネットワークの応用。JPEG2000等と比べても優れた性能