タグ: OSS

• H2O-Danube-1.8B Technical Report [2.8]
  H2O-Danube-1.8Bは1Tトークンで訓練された1.8B言語モデルである。 H2O-Danube-1.8BをApache 2.0ライセンスで公開しています。
  論文  参考訳（メタデータ）   (Tue, 30 Jan 2024 08:45:08 GMT)
• OSSで小型、しかし、性能が高めのLLMの提案
• h2oai/h2o-danube-1.8b-base · Hugging Face

• Orion-14B: Open-source Multilingual Large Language Models [15.6]
  我々は,140億のパラメータを持つ多言語大言語モデルの集合であるOrion-14Bを紹介する。 データスケジューリング手法を用いて、英語、中国語、日本語、韓国語、その他の言語のテキストから得られた2.5兆トークンの多種多様なコーパスに基づいて基礎モデルを訓練する。 評価の結果,Orion-14Bは様々なタスクにおいて最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ）   (Sat, 20 Jan 2024 12:29:27 GMT)
• 日本語でも高性能として話題になったOrion-14Bの論文、コードはApache-2ライセンスだがウェイトは独自ライセンス。
• リポジトリはOrionStarAI/Orion: Orion-14B is a family of models includes a 14B foundation LLM, and a series of models: a chat model, a long context model, a quantized model, a RAG fine-tuned model, and an Agent fine-tuned model. Orion-14B 系列模型包括一个具有140亿参数的多语言基座大模型以及一系列相关的衍生模型，包括对话模型，长文本模型，量化模型，RAG微调模型，Agent微调模型等。 (github.com)、日本語のプレスリリースも出ているOrionStarはオープンソースのマルチリンガルLLM「Orion-14B」をリリースしました。

• LLM360: Towards Fully Transparent Open-Source LLMs [89.1]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ）   (Mon, 11 Dec 2023 17:39:00 GMT)
• オープンなLLMを作ろうという取り組み。AMBER: 7B English LLM pretrained on 1.3T tokens CRYSTALCODER: 7B English and code LLM pretrained on 1.4T tokensをリリース
• プロジェクトサイトはLLM360 | Open-source LLMs for Transparency, Trust, and Collaborative Research 🚀

• Mistral 7B [62.2]
  Mistral 7Bはすべての評価ベンチマークでLlama 2 13B、推論、数学、コード生成でLlama 1 34Bを上回っている。 また、命令に従うように微調整されたモデルも提供します。 Mistral 7B — Instructは、Llama 2 13Bを越え、人間と自動化ベンチマークの両方でチャットモデルを提供します。
  論文  参考訳（メタデータ）   (Tue, 10 Oct 2023 17:54:58 GMT)
• 小規模パラメータで高性能と噂のLLM、Apache 2.0 licenseとオープンなモデル
• ブログMistral 7B | Mistral AI | Open source models、HuggingFacemistralai (Mistral AI_) (huggingface.co)以外にドキュメントDeploy with SkyPilot | Mistral AI Large Language Modelsも充実している。

• XGen-7B Technical Report [138.7]
  XGenは、最大1.5Tトークンに対して最大8Kのシーケンス長を持つ7Bパラメータの一連のモデルである。 研究の進歩と商用アプリケーションのためのモデルをオープンソースにしています。
  論文  参考訳（メタデータ）   (Thu, 7 Sep 2023 02:20:03 GMT)
• オープンソースかつ長いシーケンス長を入力可能なLLM。XGen-7Bの論文。パラメータサイズに比べて性能が高い。
• リポジトリはGitHub – salesforce/xgen: Salesforce open-source LLMs with 8k sequence length.、いくつかのバリエーションがあるが、Salesforce/xgen-7b-8k-base · Hugging FaceはApache-2ライセンスと非常に使いやすいライセンスである。

先週、tiiuae/falcon-180B · Hugging Faceが公開されるなどLLM関連のニュースは多く、様々な研究機関がしのぎを削っている。