コンテンツへスキップ
- COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.7]
コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
論文 参考訳（メタデータ） (Thu, 29 Sep 2022 06:11:21 GMT)
- CoNT: Contrastive Neural Text Generation [83.1]
対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。 CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。 我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5つの生成タスクで検証する。CoNTは、機械翻訳における1.50 BLEUと要約における1.77 ROUGE-1という、テキスト生成における最も競争力のあるコントラスト学習手法をそれぞれ上回っている。
論文 参考訳（メタデータ） (Sun, 29 May 2022 15:18:37 GMT)
- EASE: Entity-Aware Contrastive Learning of Sentence Embedding [37.7]
EASEは文とその関連エンティティ間の対照的な学習を通して文の埋め込みを学習する新しい方法である。 EASEは英語のセマンティックテキスト類似性(STS)と短いテキストクラスタリング(STC)タスクにおいて、競合的あるいはより良いパフォーマンスを示す。
論文 参考訳（メタデータ） (Mon, 9 May 2022 13:22:44 GMT)
- A Contrastive Framework for Neural Text Generation [46.8]
テキスト生成は多くの自然言語処理アプリケーションにおいて非常に重要である。 しかし、ニューラルネットワークモデルの最大化に基づく復号法(ビーム探索など)は、しばしば不自然であり、望ましくない繰り返しを含んでいる。モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 13 Feb 2022 21:46:14 GMT)
- CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting [35.8]
我々はCoSTという新しい時系列表現学習フレームワークを提案する。 コントラスト学習法を用いて季節差表現を学習する。 実世界のデータセットの実験では、CoSTが最先端のメソッドを一貫して上回っていることが示されている。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 3 Feb 2022 13:17:38 GMT)
- CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations [44.1]
対照的な学習は、負のサンプルの集合から正のペアを対比することで、強力な損失を柔軟に定義することができる。 CrossCLRは、その潜在能力を最大限活用することなく、ビデオとテキストのクロスモーダルな埋め込みを学習する。 これらの原則は、学習された埋め込みの品質を一貫して改善することを示します。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 30 Sep 2021 08:12:21 GMT)- 前の論文と同様にクロスモーダルなContrastive Learning。複数種類のデータを扱うことは自然な拡張ではあるが、研究の進み方が速い。
- VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding [13.6]
我々は、ゼロショットビデオとテキスト理解のための統一モデルを事前訓練するための対照的なアプローチであるVideoCLIPを提案する。 VideoCLIPは、ビデオとテキストの変換器を、近隣の検索から強陰性で時間的に重なり合うビデオテキストペアと対比することによって訓練する。
論文 参考訳（メタデータ） (Tue, 28 Sep 2021 23:01:51 GMT)
- Sequence Level Contrastive Learning for Text Summarization [49.0]
教師付き抽象テキスト要約のためのContrastive学習モデルを提案する。 3つの異なる要約データセット上で、強いシーケンスからシーケンスへのテキスト生成モデル(すなわちBART)を改善する。 また, 人的評価は, 比較対象を含まないモデルに比べて, 忠実度評価が優れていることを示す。
論文 参考訳（メタデータ） (Wed, 8 Sep 2021 08:00:36 GMT)- 画像で流行したContrastive Learningをテキスト要約に適用、BARTの性能を改善したとのこと。CNN/DailyMail でSOTAを改善しているよう。人間の評価でもBARTを上回る性能。CNN/DailyMailのR-1で45台はすごい。
- Poisoning and Backdooring Contrastive Learning [26.1]
CLIPのような対照的な学習方法は、ノイズの多いデータセットと未処理のデータセットでトレーニングする。 この慣行がバックドアや毒殺を重大な脅威にしていることを示す。
論文 参考訳（メタデータ） (Thu, 17 Jun 2021 17:20:45 GMT)- ノイジーなラベル無しデータでのContrastive Learningに対して非常に少数の事例を用いて攻撃が可能との報告。特定の入力に対する誤分類であればデータセットの0.0001%を制御することによって可能とのこと。
- 論文中に記載された通り防御手段も存在するがインターネットからデータを集めてきての学習はリスクがある。