JetMoE: Reaching Llama2 Performance with 0.1M Dollars

  • JetMoE: Reaching Llama2 Performance with 0.1M Dollars [25.3]
    このレポートでは、JetMoE-8Bという新しい大規模言語モデルを紹介します。 低コストにもかかわらず、JetMoE-8BはLlama2-7Bモデルより優れ、JetMoE-8B-ChatはLlama2-13B-Chatモデルより優れていた。 本報告では,すべてのトレーニングパラメータとデータ混合物について詳述し,オープンファンデーションモデルの開発における今後の取り組みを促進する。
    論文  参考訳（メタデータ）   (Thu, 11 Apr 2024 00:52:39 GMT)
  • 安価（といっても「$0.1 million, using 1.25T tokens from carefully mixed open-source corpora and 30,000 H100 GPU hours.」）でLLMを構築するレシピの提案
  • リポジトリはmyshell-ai/JetMoE: Reaching LLaMA2 Performance with 0.1M Dollars (github.com)

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です