- GPT-NeoX-20B: An Open-Source Autoregressive Language Model [16.3]
GPT-NeoX-20Bは、Pileで訓練された200億のパラメータの自動回帰言語モデルである。 ウェイトは寛容なライセンスで、自由に公開することができる。
論文 参考訳（メタデータ） (Thu, 14 Apr 2022 04:00:27 GMT)- Apache-2とオープンなライセンスの大規模言語モデル。tokenizerなどの工夫でGPT-3などと比べモデル規模の割に性能が高いとのこと。推論であっても2つのGPU（45GB以上のVRAM）が必要。
- 「we hope to train and open source a 175B parameter GPT-3 replication along the way.」というのにも期待大。