- A Contrastive Framework for Neural Text Generation [46.8]
テキスト生成は多くの自然言語処理アプリケーションにおいて非常に重要である。 しかし、ニューラルネットワークモデルの最大化に基づく復号法(ビーム探索など)は、しばしば不自然であり、望ましくない繰り返しを含んでいる。モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 13 Feb 2022 21:46:14 GMT)- （FuguMTやarXiv翻訳サイトでもたまに見られる）単語の繰り返しのようなテキスト生成を防ぐための手法の提案。
- 「トークン表現の異方性分布がモデルデジェネレーションの根本的な原因」とのことだが、分散表現の値（重み）が特定部分に偏ると理解して良いのだろうか・・・？
- リポジトリはGitHub – yxuansu/SimCTG: A Contrastive Framework for Neural Text Generation、日本語でも動作しているのが凄い。
- （FuguMTやarXiv翻訳サイトでもたまに見られる）単語の繰り返しのようなテキスト生成を防ぐための手法の提案。