GPT-4o mini、MistralNeMo、DCLM 7B、Qwen2、Granite

先週もLLM関連の話題は多かった。

GPT-3.5よりもコスト・速度に優れ性能も高いGPT-4o miniはビジネスでの注目度が高い。

OSS関連でのアップデートも多かった。

• MistralとNVIDIAが協力して開発した小型で強力なMistral NeMo（Mistral NeMo | Mistral AI | Frontier AI in your hands、mistralai/Mistral-Nemo-Base-2407 · Hugging Face）
• AppleによるDCLM 7B（apple/DCLM-7B · Hugging Face＆関連：DataComp-LM: In search of the next generation of training sets for language models – arXiv最新論文の紹介 (devneko.jp)）
• Qwen2についてのテクニカルレポート（Audio-Language含む）
• 長いコンテキストに対応したGranite

上記には要注目。公開モデルの動きも速い。

• Qwen2 Technical Report [139.8]
  Qwen2は、前機種のQwen1.5を含む、これまでのほとんどのオープンウェイトモデルを上回っている。 言語理解、生成、多言語習熟、コーディング、数学、推論に関する様々なベンチマークにおいて、プロプライエタリなモデルと比較して、競争力のあるパフォーマンスを示す。 Qwen2は、英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語など、約30の言語で熟練した堅牢な多言語機能を示している。
  論文  参考訳（メタデータ）   (Mon, 15 Jul 2024 12:35:42 GMT)
• GLM-4-9B, Qwen2 – arXiv最新論文の紹介 (devneko.jp)のテクニカルレポート。強力なパフォーマンスを発揮し、多言語性能も高い。
• リポジトリはGitHub – QwenLM/Qwen2: Qwen2 is the large language model series developed by Qwen team, Alibaba Cloud.

• Qwen2-Audio Technical Report [73.9]
  本稿では,Qwen2-Audioと呼ばれる大規模オーディオ言語モデルであるQwen-Audioの最新動向を紹介する。 Qwen2-Audioは、様々な音声信号入力を受け入れ、音声解析や音声指示に対する直接テキスト応答を行うことができる。 我々はQwen2-Audioの指示追従能力を高め、音声チャットと音声分析のための2つの異なる音声対話モードを実装した。
  論文  参考訳（メタデータ）   (Mon, 15 Jul 2024 14:38:09 GMT)
• 「According to the evaluation results from AIR-Bench, Qwen2-Audio outperformed previous SOTAs, such as Gemini-1.5-pro, in tests focused on audio-centric instruction-following capabilities.」と強力な性能を主張するAudio-Languageモデル。
• リポジトリはGitHub – QwenLM/Qwen2-Audio: The official repo of Qwen2-Audio chat & pretrained large audio language model proposed by Alibaba Cloud.

• Scaling Granite Code Models to 128K Context [37.3]
  本稿では,最大128Kトークンの効率的なコンテキストウィンドウをサポートする長文グラナイト符号モデルを提案する。 2K/4Kから128KまでのGranite 3B/8B符号モデルのコンテキスト長のスケーリングソリューションは、軽量な継続事前トレーニングで構成されている。 私たちは、研究と商用の両方のために、Apache 2.0ライセンスの下で、長いコンテキストのGraniteコードモデルをリリースします。
  論文  参考訳（メタデータ）   (Thu, 18 Jul 2024 17:46:02 GMT)
• IBMのGraniteも128Kと長いコンテキストに対応
• リポジトリはGitHub – ibm-granite/granite-code-models: Granite Code Models: A Family of Open Foundation Models for Code Intelligence