Google Bard、AntropicなどOpenAI GPTシリーズの対抗モデルのニュースが多い一週間だった。
Google Japan Blog: Bard が日本語に対応 (googleblog.com)
色々テストしてみた感じ、Bardはかなり強力な感じ。いつもの翻訳でのベンチマークをしてみたいところ。
- palm2techreport.pdf (ai.google)
- より優れた多言語および推論能力を持ち、前任の PaLM (Chowdhery et al , 2022) よりも計算効率が高い新しい最先端言語モデルである PaLM 2 を紹介する。PaLM 2は、UL2(Tay et al , 2023)と同様の目的の混合を用いて訓練されたトランスフォーマーベースのモデルである。英語と多言語の広範な評価と推論タスクを通じて、PaLM2は異なるモデルサイズにわたる下流タスクの品質を著しく向上させ、同時にPaLMと比較してより高速で効率的な推論を示すことを実証する。この改善された効率により、より広範なデプロイが可能になり、モデルがより自然なインタラクションのペースで迅速に応答できるようになる。PaLM 2は、BIG-Benchや他の推論タスクにおけるPaLMの大幅な改善によって例示される堅牢な推論能力を示す。
- PaLMの ver2で推論能力が大幅に向上。翻訳性能でGoogle Translateを超えているという評価は驚き。
Anthropic | Introducing 100K Context Windows
非常に長いコンテキストに対応したClaude、こちらも日本語が使えるようでベンチマークをしてみたい。
日本企業もLLM構築を行っているようでこちらも期待大
- サイバーエージェント、独自の日本語LLM（大規模言語モデル）を開発 ―自然な日本語の文章生成を実現― | 株式会社サイバーエージェント (cyberagent.co.jp)
- ソフトバンク、LINEと和製GPT立ち上げへ 「やらなければ今後の参加権がなくなる」 – ITmedia NEWS
競合が多く出てくるフェーズでは性能や速度など正しく評価するのが大事だと思う。