T-PTLM(Transformer-based Pretrained Language Models)のサーベイ

  • AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing [0.0]
    トランスフォーマーベースの事前訓練言語モデル(T-PTLM)は、ほぼすべてのNLPタスクで大きな成功を収めている。 変換されたPTLMは、自己教師付き学習を用いて大量のテキストデータから普遍的な言語表現を学習する。 これらのモデルは、下流モデルのスクラッチからのトレーニングを避けるために、下流タスクに適切なバックグラウンド知識を提供する。
    論文  参考訳(メタデータ)   (Thu, 12 Aug 2021 05:32:18 GMT)
    • 最近よく見るTransformerを用いた大規模事前学習モデルのサーベイ。42ページ、引用数304でこの分野を広範に調査、整理している。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です