- DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.3]
DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (Thu, 21 Apr 2022 17:32:01 GMT)- MLMの学習っぽく単語がマスクされた文とオリジナルデータとの差異（編集）に注目することでsentence embeddingを学習、STS(Semantic Textual Similarity)タスクでSimCSEを上回る優れた性能を達成とのこと。
- リポジトリはGitHub – voidism/DiffCSE: Code for the NAACL 2022 long paper “DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings”