- Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.1]
Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bを上回る。
論文 参考訳（メタデータ） (Sun, 21 Aug 2022 01:00:54 GMT)- 抽象型要約に最適化された言語モデルの提案。事前学習時のデータの使い方の工夫、（self-attentionより効率的とされる）disentangled attentionの利用、長文のための fusion-in-encoderによってパラメータ効率の高いモデルを構築。