タグ: OSS

先週もLLM関連のニュースが多かった。

Phi-3はMicrsoftによる小規模（？）LLM、3.8Bパラメータと比較的小さいが性能が高いと主張。

• Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone [144.9]
  phi-3-miniは、3.3兆のトークンで訓練された38億のパラメータ言語モデルである。 MMLUでは69%、MTベンチでは8.38である。
  論文  参考訳（メタデータ）   (Mon, 22 Apr 2024 14:32:33 GMT)
• リポジトリはPhi-3 – a microsoft Collection (huggingface.co)

Snowflakeが発表したSnowflake Arcticは総パラメータ数480Bだが、推論時は17BパラメータのみアクティブになるMoE構成。面白い構成で性能はLlama3 70B相当を主張、Apache-2ライセンスと真にオープンソースなライセンスである点も素晴らしい。
Snowflake Arctic – エンタープライズAI向けLLM

SenseNovaはSenseTimeによるLLMでGPT 4 turbo超え（ただし最新モデルはない）を主張。クローズドなモデルではあるが性能競争が激しくなっていることを示している。
SenseTime launches SenseNova 5.0 with comprehensive updates and the industry-leading “Cloud-to-Edge” full-stack large model product matrix-Newsroom-SenseTime

AppleがLLMを公開したことも興味深い。

• OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework [26.7]
  私たちは最先端のオープン言語モデルであるOpenELMをリリースします。 パラメータ予算は約10億のパラメータで、OpenELMはOLMoに比べて精度が2.36%向上している。
  論文  参考訳（メタデータ）   (Mon, 22 Apr 2024 23:12:03 GMT)
• リポジトリはapple/OpenELM · Hugging Face

その他、Qwen 1.5の大規模モデルであるQwen-1.5（Qwen/Qwen1.5-110B · Hugging Face）が公開、Nyonic Wonton7Bが発表などLLM界隈は非常に活況である。

https://huggingface.co/datasets/HuggingFaceFW/fineweb に関連したX（旧twitter）での投稿も話題になっていた。XユーザーのThomas Wolfさん: 「This take on the FineWeb release is one of the most interesting feedback and also a reason FineWeb is very different from even larger datasets like RedPajama-V2 (which is double its size!) Surprisingly, the size of the dataset of 15T tokens is not very important, what is much…」 / X (twitter.com) 「Before I dive more in this let me give you an example of unintuitive behavior. Between 2022 and 2023 the “LLM quality” of Common Crawl dropped significantly as in “training a LLM on the crawls btw 2022-2023 will give you lower performances on a set of evals”. What happened? Well it turns out the Common Crawl team has been filtering more strongly domains with adult content. Not really the cause you’d be intuitively thinking about, right?」は非常に興味深い。

• Nyonic Technical Report [20.8]
  Wonton 7Bモデルは、多言語および英語のベンチマークで競合性能を示した。 モデルのアーキテクチャは、ロータリー位置埋め込み(Rotary Positional Embeddings)、QK-LayerNorm(QK-LayerNorm)、特別に製作された多言語トークンーザ(multilingual tokenizer)などの最先端技術で強化されている。
  論文  参考訳（メタデータ）   (Wed, 24 Apr 2024 07:38:44 GMT)
• GitHub – nyonicai/nyonic-public: Reference implementation of models from Nyonic Model Factory

今年のHAI AI Index reportでも取り上げられていた通り基盤モデルの構築が盛んになっている。　AI Index Report 2024 – Artificial Intelligence Index (stanford.edu)

先週もLLM関連のニュースが多く、寛容な独自ライセンスのLlama 3、Apache-2ライセンスのMixtral 8x22Bとオープンなモデルの盛り上がりも衰えていない。設立間もないRekaによるReka Coreにも注目である。モデル性能も非常に高い。

WizardLM2も公開されたようだが、一時的になのかリポジトリにアクセスできなくなっている。@WizardLM on Hugging Face: “🔥🔥🔥 Introducing WizardLM-2! 📙Release Blog:…”、こちらも性能的に期待大

• Meta Llama 3、Introducing Meta Llama 3: The most capable openly available LLM to date
  • 8B, 70Bを公開。8Bは同規模のMistralやGemmaより高性能。70BはベンチマークによるがGPT-4やClaude、Geminiといった商用モデルと競合可能な性能。400Bを構築中、構築段階でもGPT-4を超えそうとのことで最終性能が非常に楽しみ。
  • モデルカード（llama3/MODEL_CARD.md at main · meta-llama/llama3 (github.com)）が公開されており、構築に投じた計算リソースも公開されている。8Bで1.3M GPU hour、70Bで6.4M GPU hour。Lambda LabsのGPU Cloudでは3.5USD/GPU hour程度なのでかなりの額を投じていることになる。

• Mixtral 8×22: Cheaper, Better, Faster, Stronger | Mistral AI | Frontier AI in your hands
  • MistralによるMoE構成LLM。Apache-2ライセンスとOSS。性能はClaude HaikuやGemini Pro、GPT-3.5、Qwen 1.5 72Bに競合するレベルに見える。
  • HuggingFaceにも公開されている　mistralai/Mixtral-8x22B-v0.1 · Hugging Face、mistralai/Mixtral-8x22B-Instruct-v0.1 · Hugging Face

• Reka Core, Flash, and Edge: A Series of Powerful Multimodal Language Models [69.4]
  Rekaモデルはテキスト、画像、ビデオ、オーディオ入力で処理し、推論することができる。 Reka EdgeとReka Flashは最先端のモデルであるだけでなく、多くの大きなモデルよりも優れています。 最も有能で最大のモデルであるReka Coreは、自動評価とブライド評価の両方において、最高のフロンティアモデルにアプローチしています。
  論文  参考訳（メタデータ）   (Thu, 18 Apr 2024 17:59:48 GMT)
• Reka Core: Reka Core: Our Frontier Class Multimodal Language Model — Reka AI、マルチモーダルでGPT-4Vと競合。

先週もLLM関連の話題が多かった。Cohere Command R+はGPT-4相当をうたう104BのLLMであり、huggingfaceでCC-BY-NCで公開されている。完全に商用クオリティのモデルが非商用利用のみとはいえ公開されたのは衝撃的だった。研究コミュニティに対する大きな貢献だと思う。

Aurora-MはStarCoderPlusから継続学習によって作られたオープンなLLM、HyperCLOVA XはNAVERによる韓国語に強いLLMである。EURUSなどオープンなLLMを強化しようというトライも多い。

Introducing Command R+: A ScalableLLM Built for Business
Command R+は、エンタープライズグレードのワークロードに取り組むために設計された最先端のRAG最適化モデルである。最初はmicrosoft azureで利用可能だ。
Introducing Command R+: A Scalable LLM Built for Business (cohere.com)
Mistral Large以上、GPT-4-Turbo相当を主張するLLM、商用利用不可の条件ではあるが研究用に使用可能なモデルが公開されているのがすごい
リポジトリはCohereForAI/c4ai-command-r-plus · Hugging Face

• Aurora-M: The First Open Source Multilingual Language Model Red-teamed according to the U.S. Executive Order [123.7]
  Aurora-Mは、英語、フィンランド語、ヒンディー語、日本語、ベトナム語、コードで訓練された15Bパラメータの多言語オープンソースモデルである。 これは、人間がレビューした安全命令を微調整した初めてのオープンソース多言語モデルである。 様々なタスクや言語で厳格に評価されており、破滅的な忘れ物に対する頑丈さを示している。
  論文  参考訳（メタデータ）   (Sat, 30 Mar 2024 15:38:54 GMT)
• 15Bのオープンな多言語LLM、性能はLlama2 13Bと競合という感じではあるが安全性に非常に気を使ったモデルになっている。
• プロジェクトサイトはAurora-M models – a aurora-m Collection (huggingface.co)

• HyperCLOVA X Technical Report [119.1]
  韓国語と文化に合わせた大型言語モデル(LLM)のファミリーであるHyperCLOVA Xを紹介する。 HyperCLOVA Xは韓国語、英語、コードデータのバランスの取れた混合でトレーニングされ、その後、高品質な人間アノテーション付きデータセットによる命令チューニングが行われた。 このモデルは、韓国語と英語の両方で、包括的な推論、知識、常識、事実性、コーディング、数学、チャット、指示追従、無害など、様々なベンチマークで評価されている。
  論文  参考訳（メタデータ）   (Tue, 02 Apr 2024 13:48:49 GMT)
• NAVERによるLLM,韓国語能力が高いが、英語でもLlama2 70Bと競っており能力が高い。パラメータ数は非公表？

• Advancing LLM Reasoning Generalists with Preference Trees [119.6]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ）   (Tue, 02 Apr 2024 16:25:30 GMT)
• Mistral-7B, CodeLlama-70BからSFTされたモデル、UltraInteractというデータセットがコア。「EURUS-70B beats GPT-3.5 Turbo in reasoning through a comprehensive benchmarking across 12 tests covering five tasks」はすごい
• OpenBMB/Eurus (github.com)

• InternLM2 Technical Report [159.7]
  本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
  論文  参考訳（メタデータ）   (Tue, 26 Mar 2024 00:53:24 GMT)
• InternLM2のテクニカルレポート。詳細な情報が載っておりとても興味深い。Chatの性能は高い。学術研究用であれば自由に利用できるものではあるがウェイトは独自ライセンス。
• リポジトリはInternLM/InternLM: Official release of InternLM2 7B and 20B base and chat models. 200K context support (github.com)

X（旧Twitter）で事前アナウンス「XユーザーのElon Muskさん: 「This week, @xAI will open source Grok」 / X (twitter.com)」の通り（？）Grokが公開された。314BのMoE構成とのことでfine tuning未済のベースモデルのみの公開。

Open Release of Grok-1 (x.ai)
xai-org/grok: Grok open release (github.com)

Model Details
・Base model trained on a large amount of text data, not fine-tuned for any particular task.
・314B parameter Mixture-of-Experts model with 25% of the weights active on a given token.
・Trained from scratch by xAI using a custom training stack on top of JAX and Rust in October 2023.

Open Release of Grok-1 (x.ai)

「The code and associated Grok-1 weights in this release are licensed under the Apache 2.0 license. The license only applies to the source files in this repository and the model weights of Grok-1.」とのことで、コード・モデル（torrentでの公開のよう）ともにApache-2ライセンスでの公開。完全なOSSであり大きな意味がありそう。

先週、arXivにGemini 1.5とGemmaの論文が公開されていた。Calude 3を含め、GPT-4一強ではない時代になりつつあるし、オープンな流れも加速してほしいところ。Mistralの動きが気になる。

• Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context [379.4]
  Gemini 1.5 Pro は計算効率の良いマルチモーダル・ミックス・オブ・エキスパート・モデルである。 モダリティ間の長文検索タスクにおいて、ほぼ完璧なリコールを実現する。 Gemini 1.0 Ultraの最先端のパフォーマンスは、幅広いベンチマークで一致または上回っている。
  論文  参考訳（メタデータ）   (Fri, 8 Mar 2024 18:54:20 GMT)
• SORAとGemini-1.5 – arXiv最新論文の紹介 (devneko.jp)と同じ内容

• Gemma: Open Models Based on Gemini Research and Technology [126.0]
  Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ）   (Wed, 13 Mar 2024 06:59:16 GMT)
• Geminiのオープンモデル。Gemma release – a google Collection (huggingface.co)などから利用可能。
• 寛容なライセンスに見えるが独自のライセンス（Gemma Terms of Use  |  Google AI for Developer）であり、Gemma Prohibited Use Policy  |  Google AI for Developersにある倫理的に問題のある利用は明示的に禁止されている。（派生物も守る必要がある）

今週もLLM関連の話題が多く、AnthropicからGPT-4を超える性能というClaude 3が発表されてた。また、中国のスタートアップ01.AIによるYiは公開されているモデルの中では非常に高性能に思える（ライセンスは独自で商用利用時には登録が必要などCCなど一般的なものとは異なり、よく読む必要がある。）

Introducing the next generation of Claude \ Anthropic

Model_Card_Claude_3.pdf (anthropic.com)
The Claude 3 Model Family: Opus, Sonnet, Haiku
Claude 3ファミリーはベンチマーク評価全体で強力なパフォーマンスを示し、推論、数学、コーディングの尺度に新しい標準を設定する。Claude 3 Opus は GPQA [1], MMLU [2], MMMU [3] などの評価で最先端の結果を得る。Claude 3 HaikuはClaude 2よりも多くの純粋なテキストタスクで優れており、SonnetとOpusはそれを著しく上回っている。

• Yi: Open Foundation Models by 01.AI [42.9]
  Yiモデルファミリは、6Bおよび34B事前訓練言語モデルに基づいており、チャットモデル、200K長コンテキストモデル、深度アップスケールモデル、ビジョン言語モデルに拡張する。 私たちのベースモデルは、MMLUのような幅広いベンチマークで強力なパフォーマンスを実現し、優れたチャットモデルは、AlpacaEvalやArenaといった主要な評価プラットフォーム上で、強い人間の嗜好率を提供します。
  論文  参考訳（メタデータ）   (Thu, 7 Mar 2024 16:52:49 GMT)
• タスクによってかなり性能は違うが、英語で同サイズのLlamaを上回り、34Bだと英語でGPT-3.5、中国語でGPT-4に匹敵するようなモデルの提案。Weightが公開されているのがすごい。日本語でも相応の性能に思える。
• リポジトリは01-ai/Yi: A series of large language models trained from scratch by developers @01-ai (github.com)、モデルは01-ai (01-ai) (huggingface.co)

先週もLLM界隈は盛り上がっていた。注目すべきはGoogleのオープンなモデルであるGemmaとMistralがステルスでリリースしたというMistral nextの話題。両方とも日本語を扱えそうで興味深々である。そろそろ翻訳ベンチマークを再開しようと思わなくもない。

Gemma: Google introduces new state-of-the-art open models (blog.google)
Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。Gemmaモデルは、言語理解、推論、安全のための学術ベンチマーク全体で強力なパフォーマンスを示す。

mistral-next: First Impressions of Mistral’s Latest Stealth Release | by Ingrid Stevens | Feb, 2024 | Medium
※ Chat with Open Large Language Models (lmsys.org)のDirect chatからmistral-nextを使用可能。
Mediumの記事によると数学が得意とのこと。試した感じ日本語応答も可能そう。