- OPT: Open Pre-trained Transformer Language Models [99.6]
125Mから175Bのパラメータからなるデコーダのみの事前学習トランスであるOpen Pre-trained Transformers (OPT)を提案する。 OPT-175BはGPT-3に匹敵するが, 炭素フットプリントの1/7しか必要としない。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 5 May 2022 11:44:30 GMT)- GPT-3相当の規模を持つオープンな大規模言語モデル。Data card、Model cardともに論文中にあり、構築過程なども記載がある。