- OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch [41.5]
OpenBAは、オープンソースの15Bバイリンガルな非対称seq2seqモデルである。 OpenBAを効果的かつ効率的な技術で強化し、3段階のトレーニング戦略を採用します。 私たちのソリューションは、380Bトークンだけで非常に競争力のあるパフォーマンスを実現できます。
論文 参考訳（メタデータ） (Tue, 19 Sep 2023 15:46:40 GMT) - 非対称encoder-decoderアーキテクチャのLLM、薄いとはいえencoder部分を持つのは珍しい気がする。サイズに比べて性能が高い。
- リポジトリはGitHub – OpenNLG/OpenBA: OpenBA: An Open-Sourced 15B Bilingual Asymmetric Seq2Seq Model Pre-trained from Scratch、HuggingFaceサイトはOpenBA (OpenBA) (huggingface.co)