OPT(Open Pre-trained Transformer): オープンな大規模言語モデル

  • OPT: Open Pre-trained Transformer Language Models [99.6]
    125Mから175Bのパラメータからなるデコーダのみの事前学習トランスであるOpen Pre-trained Transformers (OPT)を提案する。 OPT-175BはGPT-3に匹敵するが, 炭素フットプリントの1/7しか必要としない。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 5 May 2022 11:44:30 GMT)
    • GPT-3相当の規模を持つオープンな大規模言語モデル。Data card、Model cardともに論文中にあり、構築過程なども記載がある。

GPT-NeoX-20B: オープンソースの巨大言語モデル

Saycan: 言語モデルの知識を用いたタスク分解

  • Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.3]
    大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
    論文  参考訳(メタデータ)   (Mon, 4 Apr 2022 17:57:11 GMT)
    • 言語モデルが持つ知識から大きなタスクを複数の小さなタスクに分解することは可能だが、実施不可能なタスク分解が行われることもある。ある領域で実施可能なことを評価関数とすることで変なタスク分解が起きないようにできるとのこと。
      • いろいろなところで自然言語を介した取り組みがあるなーと思う。
    • プロジェクトサイトはSayCan (say-can.github.io)

PaLM: Pathways Language Model

  • PaLM: Scaling Language Modeling with Pathways [180.7]
    我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
    論文  参考訳(メタデータ)   (Tue, 5 Apr 2022 16:11:45 GMT)
    • 540-billion parameterで780 billion tokens のデータ& 6144個のTPU v4 を用いて構築された大規模モデル。BIG-benchで平均的な人間のパフォーマンスを上回る。
    • Discontinuous improvementsとして報告された内容が興味深く、8B→62Bパラメータへの改善と62B→540Bへの改善においてよく報告される“power law”に沿った改善ではない、非連続的な改善が見られたとのこと。
    • 「First, the results presented here suggest that the improvements from scale for few-shot language understanding have not yet plateaued.」とある通りまだ発展が見込めるとのことで面白い。

Chinchilla: 予算内で最適な巨大言語モデル

  • Training Compute-Optimal Large Language Models [54.0]
    私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
    論文  参考訳(メタデータ)   (Tue, 29 Mar 2022 13:38:03 GMT)
    • 同じ計算予算で最適なパラメータ量や学習データ量を求める手法を用いて70BパラメータのChincillaを作成、Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), Megatron-Turing NLG (530B)といった他の巨大モデルを上回る結果を達成。
    • 「Gopher is substantially over-sized and estimate that for the same compute budget a smaller model trained on more data will perform better.」という指摘が興味深く、モデルサイズに比べてデータが足りていない状況が多発していそう。

ToxiGen: 機械作成された13のグループに対するHate Speech検出(有毒/良性文)のデータセット

  • ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection [33.7]
    ToxiGenは、13の少数民族に関する274kの毒性と良心のステートメントの大規模なデータセットである。 このようにマシン生成を制御することで、ToxiGenは暗黙的に有害なテキストを大規模にカバーできる。 有毒な例の94.5%は、ヒトのアノテーターによるヘイトスピーチとしてラベル付けされている。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 17 Mar 2022 17:57:56 GMT)
    • GPT-3を使って構築したHate speechのデータセット。ビームサーチ中にALICEと呼ばれる「事前訓練された言語モデルと毒性分類器間のゲーム」を入れることで品質の高い(検出の難しい)文を生成とのこと。

ZeroGen: データ生成を通したZero-shot Learning

  • ZeroGen: Efficient Zero-shot Learning via Dataset Generation [28.5]
    柔軟で効率的なゼロショート学習手法であるZeroGenについて検討する。 ゼロショットタスクが与えられた場合、まず、教師なしの方法で PLM を用いて、スクラッチからデータセットを生成する。 テキスト分類、質問応答、自然言語推論といった異なるNLPタスクの実験と分析は、ZeroGenの有効性を示している。
    論文  参考訳(メタデータ)   (Wed, 16 Feb 2022 08:18:02 GMT)
    • 大規模生成モデルから知識を引き出し(データセットを作成し)それよりも小さなモデルで再現するアプローチの論文。Text classificationの結果は良いがSQuADなど教師有りとのパフォーマンス差があるタスクもあるとのこと。
      • このアプローチが有望であるとの報告は多いが、上記ギャップの理由が知りたいところ。

SuperGen: 言語モデルからのデータ生成

Megatron-Turing NLG: 530Bの言語モデル

  • Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model [35.8]
    本稿では,最大のモノリシックトランスフォーマーベース言語モデルMegatron-Turing NLG 530B(MT-NLG)のトレーニングについて述べる。 MT-NLGは,いくつかのNLPベンチマークにおいて,ゼロ,ワンショット,少数ショットの学習精度が向上し,新たな最先端結果が得られた。
    論文  参考訳(メタデータ)   (Fri, 28 Jan 2022 08:59:57 GMT)
    • 2ページ目の「Figure 1: Trend of sizes of state-of-the-art NLP models with time.」からも順調(?)にモデルサイズが大きくなっていることが分かる。学習用のシステム構成は560 ノードのDGX A100、1ノードあたり 8つの NVIDIA 80-GB A100 GPU、ピーク性能は1.4 exaFLOP/s (16-bit precision)とすごい。

Language Models as Zero-Shot Planner: LMはタスクをステップに落とせるか?

  • Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents [111.3]
    自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。 事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。 本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
    論文  参考訳(メタデータ)   (Tue, 18 Jan 2022 18:59:45 GMT)
  • 大規模言語モデルを用いて「歯を磨く」というタスクを「①浴室に行く」「②ドアを開ける」・・・のようにステップに落とせるか?に対する論文。一定の補正を加えることで79%で実行可能となるとのこと。VirtualHome (virtual-home.org)による可視化が面白い。
  • プロジェクトサイトはLanguage Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents (wenlong.page)