X（旧Twitter）で事前アナウンス「XユーザーのElon Muskさん: 「This week, @xAI will open source Grok」 / X (twitter.com)」の通り（？）Grokが公開された。314BのMoE構成とのことでfine tuning未済のベースモデルのみの公開。
Open Release of Grok-1 (x.ai)
xai-org/grok: Grok open release (github.com)
Model Details
Open Release of Grok-1 (x.ai)
・Base model trained on a large amount of text data, not fine-tuned for any particular task.
・314B parameter Mixture-of-Experts model with 25% of the weights active on a given token.
・Trained from scratch by xAI using a custom training stack on top of JAX and Rust in October 2023.
「The code and associated Grok-1 weights in this release are licensed under the Apache 2.0 license. The license only applies to the source files in this repository and the model weights of Grok-1.」とのことで、コード・モデル（torrentでの公開のよう）ともにApache-2ライセンスでの公開。完全なOSSであり大きな意味がありそう。
先週、arXivにGemini 1.5とGemmaの論文が公開されていた。Calude 3を含め、GPT-4一強ではない時代になりつつあるし、オープンな流れも加速してほしいところ。Mistralの動きが気になる。
- Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context [379.4]
Gemini 1.5 Pro は計算効率の良いマルチモーダル・ミックス・オブ・エキスパート・モデルである。 モダリティ間の長文検索タスクにおいて、ほぼ完璧なリコールを実現する。 Gemini 1.0 Ultraの最先端のパフォーマンスは、幅広いベンチマークで一致または上回っている。
論文 参考訳（メタデータ） (Fri, 8 Mar 2024 18:54:20 GMT) - SORAとGemini-1.5 – arXiv最新論文の紹介 (devneko.jp)と同じ内容
- Gemma: Open Models Based on Gemini Research and Technology [126.0]
Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
論文 参考訳（メタデータ） (Wed, 13 Mar 2024 06:59:16 GMT) - Geminiのオープンモデル。Gemma release – a google Collection (huggingface.co)などから利用可能。
- 寛容なライセンスに見えるが独自のライセンス（Gemma Terms of Use | Google AI for Developer）であり、Gemma Prohibited Use Policy | Google AI for Developersにある倫理的に問題のある利用は明示的に禁止されている。（派生物も守る必要がある）