- Baichuan 2: Open Large-scale Language Models [50.4]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (Tue, 19 Sep 2023 04:13:22 GMT) - GitHub – baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology のテクニカルレポート
- ソースコードはApache-2だが、モデルは独自ライセンスとなっている。
- Textbooks Are All You Need II: phi-1.5 technical report [55.7]
我々は、新しい13億のパラメータモデルphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。 我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
論文 参考訳（メタデータ） (Mon, 11 Sep 2023 14:01:45 GMT) - 高品質データの重要性が分かるPhi-1.5のテクニカルレポート
- モデルはmicrosoft/phi-1_5 · Hugging Face