OPT(Open Pre-trained Transformer): オープンな大規模言語モデル

  • OPT: Open Pre-trained Transformer Language Models [99.6]
    125Mから175Bのパラメータからなるデコーダのみの事前学習トランスであるOpen Pre-trained Transformers (OPT)を提案する。 OPT-175BはGPT-3に匹敵するが, 炭素フットプリントの1/7しか必要としない。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 5 May 2022 11:44:30 GMT)
    • GPT-3相当の規模を持つオープンな大規模言語モデル。Data card、Model cardともに論文中にあり、構築過程なども記載がある。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です