- NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks [30.2]
NeuZipはニューラルネットワークにおける浮動小数点数のエントロピーに基づく新しい重み圧縮方式である。 Llama-3 8Bモデルのメモリフットプリントを31GBから16GB以下に大幅に削減した。 推定では, ほぼロスレス性能を維持しながら, メモリ使用量を半減することができる。
論文 参考訳（メタデータ） (Mon, 28 Oct 2024 01:12:20 GMT) - ニューラルネットワークの圧縮（メモリ削減）手法の提案。量子化などと異なりロスレスで実用的と思われる手法であるのが興味深い。不可逆な手法でも「The lossy NeuZip provides additional memory saving for inference, achieving superior memory–performance trade-off.」とのこと。
- リポジトリはGitHub – BorealisAI/neuzip: Official repository for the paper “NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks”. This repository contains the code for the experiments in the paper.
日: 2024年11月7日
Two are better than one: Context window extension with multi-grained self-injection
- Two are better than one: Context window extension with multi-grained self-injection [111.1]
SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
論文 参考訳（メタデータ） (Fri, 25 Oct 2024 06:08:59 GMT) - 2つのLLMを組み合わせ１つ目をコンテキスト圧縮、２つ目をデコーダーとしてつかうSharedLLMの提案。普通のencoder-decoder modelではなく、階層的な構造を持っているのが特徴。
- リポジトリはGitHub – Clement25/SharedLLM: Official Implementation of the paper: “Two are better than one: Context window extension with multi-grained self-injection”
WorldSimBench: Towards Video Generation Models as World Simulators
- WorldSimBench: Towards Video Generation Models as World Simulators [79.7]
我々は、予測モデルの機能を階層に分類し、WorldSimBenchと呼ばれる2つの評価フレームワークを提案することにより、World Simulatorの評価の第一歩を踏み出す。 WorldSimBenchにはExplicit Perceptual EvaluationとImplicit Manipulative Evaluationが含まれている。 我々の総合的な評価は、ビデオ生成モデルのさらなる革新を促進する重要な洞察を与え、World Simulatorsをエンボディされた人工知能への重要な進歩と位置づけている。
論文 参考訳（メタデータ） (Wed, 23 Oct 2024 17:56:11 GMT) - ビデオ生成を通して世界をシミュレーションできるのでは？という主張があるが、そのベンチマーク。ものにもよるが厳しそうな印象。「Finally, based on the overall Explicit Perceptual Evaluationand Implicit Manipulative Evaluationresults, we conclude that current video generation models still fail to effectively capture many physical rules, indicating significant improvements are needed before they can function as true World Simulators.」という記載も。
- リポジトリはWorldSimBench: Towards Video Generation Models as World Simulators