Z-Code++: 要約のための事前学習モデル

  • Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.1]
    Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bを上回る。
    論文  参考訳(メタデータ)   (Sun, 21 Aug 2022 01:00:54 GMT)
    • 抽象型要約に最適化された言語モデルの提案。事前学習時のデータの使い方の工夫、(self-attentionより効率的とされる)disentangled attentionの利用、長文のための fusion-in-encoderによってパラメータ効率の高いモデルを構築。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です