- CoNT: Contrastive Neural Text Generation [83.1]
対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。 CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。 我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5つの生成タスクで検証する。CoNTは、機械翻訳における1.50 BLEUと要約における1.77 ROUGE-1という、テキスト生成における最も競争力のあるコントラスト学習手法をそれぞれ上回っている。
論文 参考訳（メタデータ） (Sun, 29 May 2022 15:18:37 GMT)- テキスト生成系タスクのためビームサーチの結果を利用したContrastive Lerningの提案。翻訳や要約など多種のタスクで性能を改善（T5やPEGASUSをさらに改善）。ただし学習は2-4倍遅くなるとのこと。
- リポジトリはGitHub – Shark-NLP/CoNT: Code and datasets for our paper: “CoNT: Contrastive Neural Text Generation”