タグ: 効率性

JetMoE: Reaching Llama2 Performance with 0.1M Dollars

  • JetMoE: Reaching Llama2 Performance with 0.1M Dollars [25.3]
    このレポートでは、JetMoE-8Bという新しい大規模言語モデルを紹介します。 低コストにもかかわらず、JetMoE-8BはLlama2-7Bモデルより優れ、JetMoE-8B-ChatはLlama2-13B-Chatモデルより優れていた。 本報告では,すべてのトレーニングパラメータとデータ混合物について詳述し,オープンファンデーションモデルの開発における今後の取り組みを促進する。
    論文  参考訳（メタデータ）   (Thu, 11 Apr 2024 00:52:39 GMT)
  • 安価（といっても「$0.1 million, using 1.25T tokens from carefully mixed open-source corpora and 30,000 H100 GPU hours.」）でLLMを構築するレシピの提案
  • リポジトリはmyshell-ai/JetMoE: Reaching LLaMA2 Performance with 0.1M Dollars (github.com)

Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length

  • Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length [112.8]
    文脈長無制限の効率的なシーケンスモデリングのためのニューラルネットワークであるMegalodonを紹介する。 Llama2と比較して、Megalodonは70億のパラメータと2兆のトレーニングトークンのスケールでTransformerよりも効率が良い。
    論文  参考訳（メタデータ）   (Fri, 12 Apr 2024 20:28:14 GMT)
  • Transformerより効率が良いとする構造の提案。MEGA (exponential moving average with gated attention)を継承。同規模のLlama2より性能がよさそうで驚き。
  • リポジトリはXuezheMax/megalodon: Reference implementation of Megalodon 7B model (github.com)

Rho-1: Not All Tokens Are What You Need

  • Rho-1: Not All Tokens Are What You Need [132.3]
    「コーパス内のトークンはすべて、言語モデルトレーニングに等しく重要ではない」 Rho-1 は選択言語モデリング (SLM) を採用しており、所望の分布に合わせて有用なトークンを選択的に訓練する。 15B OpenWebMathコーパスで継続事前トレーニングを行うと、Rho-1は9つの数学タスクで最大30%のショット精度で絶対的に改善する。
    論文  参考訳（メタデータ）   (Thu, 11 Apr 2024 17:52:01 GMT)
  • 「Selective Language Modeling (SLM), which selectively trains on useful tokens that aligned with the desired distribution.」によって最終性能が上がるという報告。高品質（所望の）ドキュメントで参照モデルを構築し、その結果を利用してトークンを選択するアプローチのよう。
  • リポジトリはmicrosoft/rho: Token-level Data Filtering & Selective Pretraining of LLMs. (github.com)

PEFTのサーベイ

  • Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [57.5]
    Efficient Fine-Tuning (PEFT) は、様々な下流タスクに対して大きなモデルを効率的に適応することで、実用的なソリューションを提供する。 PEFTは、事前訓練された大規模モデルのパラメータを調整して特定のタスクに適応させ、追加のパラメータや計算リソースの数を最小限にするプロセスを指す。 この調査は、PEFTアルゴリズムとそのシステム実装の両方を理解することを目的とした研究者にとって必須のリソースであり、最近の進歩と実用化に関する詳細な知見を提供する。
    論文  参考訳（メタデータ）   (Thu, 21 Mar 2024 17:55:50 GMT)
  • PEFTのサーベイ
  • 非常に多くの研究成果が出ている領域であり、ほんとうにありがたい

PERL: Parameter Efficient Reinforcement Learning

  • PERL: Parameter Efficient Reinforcement Learning from Human Feedback [27.7]
    RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデルと人間の好みを結びつける強力な手法であることが証明されている。 本稿では,Huらによって導入されたLoRA(Lo-Rank Adaptation)のパラメータ効率向上手法を用いて,基礎となるモデルを学習するRLHFについて検討する。 PERLは従来のRLHF設定と同等に動作し、高速かつ少ないメモリでトレーニングを行う。
    論文  参考訳（メタデータ）   (Fri, 15 Mar 2024 21:43:46 GMT)
  • LoRA(Lo-Rank Adaptation)＋Reinforcement Learning from Human Feedback (RLHF)、「Through extensive experiments on various datasets, we have shown that this method achieves comparable results to conventional RLHF, for which all the model parameters are tuned, while reducing memory usage by approx 50%, and speeding up the training by up to 90% for the Reward Model training, and more modest memory savings of 20%, and speed-up of 10% in the RL loop.」とのことで効果的のよう。広範な実験がされており非常に参考になる。
  • 👍と👎で評価された「Taskmaster/TM-4-2024 at master · google-research-datasets/Taskmaster · GitHub」「Taskmaster/TM-3-2020 at master · google-research-datasets/Taskmaster · GitHub」という2つのデータセットが公開されている。

GaLore: Low-Rank Projection

  • GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [139.2]
    LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
    論文  参考訳（メタデータ）   (Wed, 6 Mar 2024 07:29:57 GMT)
  • LLMを扱う上で大問題になるメモリ効率を高めたトレーニング手法の提案。NVIDIA RTX 4090 RAM 24GBで7Bモデルを事前学習可能とのこと。

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

  • Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [87.0]
    大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
    論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:25:00 GMT)
  • LLMの推論で課題となるKVキャッシュの圧縮方法の提案。タスクによっても異なるが50%のメモリ圧縮は可能そうに見える。

Efficient Large Language Models: A Survey

  • Efficient Large Language Models: A Survey [37.9]
    この調査は、効率的なLarge Language Models (LLMs) 研究の体系的で包括的なレビューを提供する。 文献を3つの主要なカテゴリからなる分類学で整理し、異なるが相互に相互に繋がる効率的なLLMのトピックを網羅する。 この調査で紹介された論文をコンパイルするGitHubリポジトリも作成しました。
    論文  参考訳（メタデータ）   (Wed, 6 Dec 2023 19:18:42 GMT)
  • LLMの効率化に関するサーベイ、手法開発が盛んでとても参考になる。
  • リポジトリはGitHub – AIoT-MLSys-Lab/Efficient-LLMs-Survey: Efficient Large Language Models: A Survey

Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time

  • Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time [91.0]
    数十億のパラメータを持つ大規模言語モデル(LLM)が、エキサイティングなAIアプリケーションに新たな波を巻き起こした。 既存の方法は、コストのかかる再訓練が必要か、LLMのコンテキスト内学習能力を捨てるか、ウォールクロックのスピードアップを達成できないかのいずれかである。 DejaVuは,各層に与えられた入力をリアルタイムで予測するために,低コストなアルゴリズムを用いたシステムである。
    論文  参考訳（メタデータ）   (Thu, 26 Oct 2023 05:01:09 GMT)
  • リポジトリはGitHub – FMInference/DejaVu

FLM-101B　限られた予算でのLLM構築

  • FLM-101B: An Open LLM and How to Train It with $100K Budget [64.8]
    大規模言語モデル(LLM)は、NLPおよびマルチモーダルタスクにおいて顕著な成功を収めた。 LLMは違法に高価であり、少数のメジャープレイヤーだけがトレーニングを受けることが可能である。 101B パラメータと 0.31TB トークンを持つ LLM が 1K の予算でトレーニング可能であることを示す。
    論文  参考訳（メタデータ）   (Thu, 7 Sep 2023 17:07:36 GMT)
  • 限られた予算での大規模言語モデル構築を扱った論文。100B+パラメータのモデルを100,000 USDで作り、他の主要モデルと競合的な性能とのこと。モデル構築戦略が非常に興味深い。（データ側の話が少ないような。。。）
  • モデルはCofeAI/FLM-101B · Hugging Faceで公開され、Apache-2、英語・中国語のバイリンガル