LLMにおいて高速化は非常に重要。先週バズった「The Era of 1-bit LLMs」と「Griffin」は異なるアプローチではあるが今の標準レシピを改善していく取り組み。
- The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits [129.7]
我々は1ビットのLarge Language Models (LLMs) 、すなわちBitNet b1.58を導入する。 1.58ビット LLM は、新しい世代の LLM を訓練するための新しいスケーリング法則とレシピを定義している。 これは新しいパラダイムを可能にし、1ビットLLM向けに最適化された特定のハードウェアを設計するための扉を開く。
論文 参考訳（メタデータ） (Tue, 27 Feb 2024 18:56:19 GMT) - -1, 0, 1のみを用いたLLM（学習時は8bit）、高速な学習・推論が可能
- リポジトリはmicrosoft/unilm: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities (github.com)、非公式な実装があるようkyegomez/BitNet: Implementation of “BitNet: Scaling 1-bit Transformers for Large Language Models” in pytorch (github.com)
- Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models [101.7]
我々は、ゲート線形再帰を持つRNNのHawkと、ゲート線形再帰と局所的な注意を混合したハイブリッドモデルGriffinを提案する。 ホークは下流でのマンバのパフォーマンスを上回り、グリフィンは6倍以上のトークンで訓練されているにもかかわらず、ラマ-2のパフォーマンスに匹敵する。 Griffinを14Bパラメータまで拡張し、効率的な分散トレーニングのためにモデルをシャーディングする方法を説明します。
論文 参考訳（メタデータ） (Thu, 29 Feb 2024 18:24:46 GMT) - RNNベースのHAWK、ハイブリッドアーキテクチャのGriffinの提案。HAWKは非常に高速だが、性能は同規模のTransformerと競合するレベル（Mambaより優れているよう）。Griffinはそれをoutperformしているように見える。7Bや14Bと大規模な検証をしているあたりさすがGoogle DeepMind。